出てくるもの (2)：毎回粗視化すると単調に増える

相対エントロピーから情報と物理を組み立てる　第2部 第4章 §2.4.4　★★ 区画の確率だけで次の区画の確率が決まる（Markov 過程）と置き換えると、データ処理不等式により $D$ は1歩ごとに減る。Boltzmann の H 定理はこの形

粗い運動を Markov 過程で置き換える

前の節の定理で比べたのは、時刻 $t$ と時刻 $0$ だけだった。時間について単調な第二法則を得るには、毎時刻、細かい構造を忘れ直す必要がある。時間の刻み $\tau$ ごとに区画平均をとり直すと、区画の確率 $P=(P_1,\dots,P_K)$ は

$$P_k(t+\tau)=\sum_{l}W_{kl}P_l(t),\qquad W_{kl}\coloneqq\frac{\lvert \phi_\tau(A_l)\cap A_k\rvert }{\lvert A_l\rvert }\tag{2.4.13}$$

に従って変わる。$W_{kl}$ は、区画 $A_l$ の中で一様に置いた点が時間 $\tau$ の後に区画 $A_k$ にいる割合である。$\phi_\tau$ は体積を保つので $\sum_kW_{kl}=1$（各列の和が $1$）で、さらに $\sum_lW_{kl}\lvert A_l\rvert =\lvert A_k\rvert$（体積に比例した分布が動かない）が成り立つ。

ここで、毎回粗視化した列 $W^nP(0)$ と、本当の粗い分布 $\mathcal C\rho_{n\tau}$ の区画の確率は、一般に一致しない。本当の運動では、区画の中の細かい構造が次の行き先を左右するのに、式 (2.4.13) はそれを毎回一様にならしてから写しているからである。図 2.4.3 は、前の節の猫写像で両者を比べたものである。毎回粗視化した列（実線）は単調に増えて $\ln16$ に近づき、再帰は起こらない。本当の粗いエントロピー（点線）は $t=1$ では同じ値だが、$t=2$ では $2.247$ と、毎回粗視化した $2.426$ より小さい。1回目の写像で生じた筋の構造が2回目の行き先を偏らせており、その偏りを毎回の粗視化が消している。

図 2.4.3　図 2.4.2 と同じ猫写像で、毎回粗視化した Markov 鎖の区画の分布のエントロピー（実線）と、細かい運動を厳密に追ってから粗視化した値（点線）。Markov 鎖は単調で再帰がない。$t=2$ で $2.426$ と $2.247$ の差が出る。

置き換えが厳密になる例：パン屋の写像

毎回の粗視化が近似でなく厳密になる系もある。正方形 $[0,1)^2$ のパン屋の写像

$$(x,y)\mapsto\Bigl(2x-\lfloor2x\rfloor,\ \tfrac12\bigl(y+\lfloor2x\rfloor\bigr)\Bigr)\tag{2.4.14}$$

は、正方形を横に2倍に伸ばして縦に半分に潰し、右半分を切って左半分の上に重ねる操作で、面積を保つ全単射である。$x$ と $y$ を2進数で $x=0.x_1x_2x_3\dots$、$y=0.y_1y_2\dots$ と書くと、写像は $x$ の先頭の桁 $x_1$ を取り外して $y$ の先頭に付け、$x$ の桁を1つずつ前に詰める操作である。したがって新しい $x$ の先頭の桁は古い $x$ の2桁目で、$y$ によらない。$x$ だけを見る区画（幅 $2^{-k}$ の縦の帯）の確率は、それ自体で閉じた Markov 過程に従い、しかも $x$ の情報は1歩ごとに1桁ずつ $y$ の細かい桁へ移って戻ってこない。区画の確率で見た $D$ は厳密に単調に減り、細かい $D$ は一定で、減った分はすべて $y$ の細かい桁の中にある。

Boltzmann の H 定理

気体の運動論では、粗視化として周辺の積 $\mathcal M$ を使う。$N$ 個の粒子の密度 $\rho$ を、1粒子の分布 $f(\bm{r},\bm{v})$ の $N$ 個の積で置き換える。定理 2.4.4 の (ii) を部分が $N$ 個の場合に書くと、置き換えで増えるエントロピーは

$$\sum_{i=1}^NH(\rho_i)-H(\rho)=D\Bigl(\rho\,\Big\|\,\prod_{i=1}^N\rho_i\Bigr)\ge0\tag{2.4.15}$$

で、粒子どうしの相関の全量（全相関、多変数の相互情報量とも呼ぶ）である。Boltzmann のエントロピー（1粒子の分布から計算するもの）が Gibbs のエントロピーを下回らないのはこのためである。Boltzmann 方程式の衝突の項は、衝突する直前の2粒子の分布を $f$ の積に置き換えて（分子的混沌）作られている（解析力学から様々な理論分野を組み立てる 第3部第8章）。これは衝突のたびに周辺の積へ粗視化し直すことで、その結果として1粒子のエントロピーが時間について単調に増える（H 定理）。衝突でできた相関は、粒子が再び出会わないかぎりその後の運動に影響しないので、捨てても1粒子の分布の時間発展は変わらない、というのがこの置き換えの根拠である。