出てくるもの (1)：粗視化したエントロピーは初めより小さくならない

相対エントロピーから情報と物理を組み立てる　第2部 第4章 §2.4.3　★★★ Liouville（$D$ は一定）と粗視化（$D$ は減る）を並べると、初めに粗い知識しかなかった系の粗いエントロピーは初めの値を下回らない

第二法則の1つの形

2つの節の結果を1列に並べる。初めの時刻に、系について知っているのは「どの区画にいるか」の確率だけだったとする。知識がそれだけなら、区画の中では一様な密度をとるのが自然で（最大エントロピー原理。第2部第1章）、$\rho_0=\mathcal C\rho_0$ となる。

この定理の内容は、初めに区画の確率という粗い情報しかなかったなら、粗い見方でのエントロピーはその値より小さくなれない、ということである。細かい密度の $D$ は一定で、粗い密度の $D$ はその下にあり、初めの時刻だけ両者が一致している。したがって粗い $D$ は初めの値が最大で、それより下にしか行けない。情報が消えるのではなく、粗視化では見えない区画の中の細かい構造へ移る。その移った量が $D(\rho_t\,\|\,\mathcal C\rho_t)$ である。解析力学の巻で見た回転子の集まり（解析力学から様々な理論分野を組み立てる 第3部第1章）では、位置と運動量の相関を忘れる粗視化 $\mathcal M$ を使っており、エントロピーの増えはこの定理の後半で言う相互情報量 $I(q;p)$ だった。

定理が言っていないこと

式 (2.4.11) には、3つの点で注意が要る。

第一に、比べているのは時刻 $t$ と初めの時刻 $0$ だけで、$0<t_1<t_2$ のあいだで $H(\mathcal C\rho_{t_2})\ge H(\mathcal C\rho_{t_1})$ とは言っていない。時刻 $t_1$ の粗い密度 $\mathcal C\rho_{t_1}$ と細かい密度 $\rho_{t_1}$ は一般に違うので、$t_1$ を新しい初めの時刻として同じ議論を繰り返すことはできない。実際、有限の系では Poincaré の再帰定理（解析力学から様々な理論分野を組み立てる 第3部第1章）により、細かい密度は何度でも初めの近くに戻り、粗いエントロピーもそのたびに初めの値の近くまで下がる。

第二に、初めの時刻は特別扱いされている。仮定 $\rho_0=\mathcal C\rho_0$ が「初めは区画の中の細かい構造を何も知らない」ことを述べており、時間の向きはこの仮定だけに入っている。運動方程式は時間反転について対称なので、同じ議論を過去に向けても $H(\mathcal C\rho_{-t})\ge H(\mathcal C\rho_0)$ が出る。初めの時刻に知識が最も少ないので、そこから未来へも過去へも粗いエントロピーは大きくなる。

第三に、時刻 $t$ で全粒子の運動量を反転した密度から出発すると、粗いエントロピーは下がって初めの値に戻る（Loschmidt の反論）。これは定理と矛盾しない。反転した密度は区画の中に $D(\rho_t\,\|\,\mathcal C\rho_t)$ だけの細かい構造を持っており、$\rho=\mathcal C\rho$ という仮定を満たさないからである。第二法則が当てはまるのは、細かい構造について何も知らない状態から始めたときである。

猫写像で見る

体積を保つ可逆な写像の簡単な例として、2次元のトーラス（$[0,1)^2$ の上下・左右をつないだもの）の上の Arnold の猫写像

$$(x,y)\mapsto(x+y,\ x+2y)\pmod 1,\qquad A=\begin{pmatrix}1&1\\1&2\end{pmatrix},\ \det A=1\tag{2.4.12}$$

をとる。$\det A=1$ なので面積を保ち、一方向に $(3+\sqrt5)/2\approx2.62$ 倍ずつ伸ばし、別の方向に同じ比で縮めるので、小さな領域は細い筋に引き伸ばされてトーラス全体に巻きつく。厳密に計算するために、トーラスを $256\times256$ の格子点に置き換える。格子点の上で式 (2.4.12) を $256$ を法として計算すると、写像は格子点の置換になる（離散の Liouville の定理）。区画は $64\times64$ の正方形 $16$ 個とし、初めの密度は左下の区画の $4096$ 点の上の一様分布とする（$\rho_0=\mathcal C\rho_0$）。

図 2.4.2　$256\times256$ の格子の猫写像で、16 区画に区画平均した分布のエントロピー（厳密な計算。scripts/verify_ch2-04.py）。細かい分布のエントロピーは $\ln4096$ のまま一定。4 回で上限 $\ln16$ にほぼ達し、その後は上限に張りつくが、$t=96$ で $\ln4$ に下がり、$t=192$ で $0$ に戻る（格子の置換の周期）。

図 2.4.2 の曲線は、定理 2.4.5 のとおり一度も初めの値 $0$ を下回らない。立ち上がりは速く、$t=1,2,3,4$ で $1.386$、$2.247$、$2.736$、$2.772$ と、4回で上限 $\ln16=2.773$ にほぼ達する。細かい密度のエントロピーは $\ln4096$ のまま一定で、細かい $D(\rho_t\,\|\,u)=\ln(65536/4096)=\ln16$ も一定である。粗い $D(\mathcal C\rho_t\,\|\,u)=\ln16-H(\mathcal C\rho_t)$ は $\ln16$ から $0$ 近くまで下がり、その差がすべて区画の中の細い筋の構造 $D(\rho_t\,\|\,\mathcal C\rho_t)$ に移っている。

格子の点の数は有限なので、置換を繰り返すといつか元に戻る。この格子では $A^{192}\equiv I\pmod{256}$ で、$t=192$ に初めの密度へ正確に戻り、粗いエントロピーも $0$ に戻る。途中の $t=96$ では $A^{96}\equiv129\,I\pmod{256}$ となり、$x$ や $y$ が奇数の点だけが $128$ ずれるので、初めの区画の点が4つの区画に等分されてエントロピーが $\ln4$ に下がる。格子を細かくすると再帰の時間は長くなるが、有限である限り再帰は必ず起こる。上の第一の注意が、ここで目に見える形になっている。