比べる2つの分布：細かい密度と平衡の密度

相対エントロピーから情報と物理を組み立てる　第2部 第4章 §2.4.1　★★★ 可逆な写像は $D$ を変えない。体積を保つ写像は一様分布を動かさないので、$D(\rho_t\,\|\,\sigma)$ も細かい密度のエントロピーも一定になる

孤立した力学系の状態についての知識を相空間の確率密度 $\rho$ で表すと、その密度は Liouville の定理に従って流れ、Gibbs のエントロピー $- k_{\mathrm B}\int\rho\ln\rho\,\mathrm{d}\Gamma$ は厳密に一定に保たれる（解析力学から様々な理論分野を組み立てる 第3部第1章）。一方、熱力学の第二法則は、孤立系のエントロピーが減らないと述べ、実際の気体は放っておけば広がって戻らない。この食い違いは、統計力学を力学から組み立てるときに必ず出会う問いである。この章はこの問いに、この巻の背骨である相対エントロピー $D$ の2つの性質だけで答える。

比べる2つの分布は、今の細かい密度 $\rho_t$ と平衡の密度（エネルギー面の上の一様分布やカノニカル分布）である。最初の節で、相空間の体積を保つ可逆な写像のもとでは $D(\rho_t\,\|\,\sigma)$ が変わらないことを示す。これが Liouville の定理を情報の側から言い直したものになる。次の節で、区画ごとに平均をとる操作や、部分系どうしの相関を忘れる操作（粗視化）が、$D$ を減らす写像であることを示す。減った量は「捨てた情報」そのもので、Pythagoras の等式の形で正確に書くことができる。この2つを組み合わせると、粗視化したエントロピーは初めの値より小さくならない、という第二法則の1つの形が出てくる（2.4.3 節）。ただしこの形は、初めの時刻を特別扱いしており、時間について単調であることまでは主張しない。単調性は、毎回粗視化して力学を Markov 過程に置き換えたときに初めて出る（2.4.4 節）。2.4.5 節では、粗視化をマクロな変数での最大エントロピーへの射影として行う Jaynes の論法と、熱浴と接した系の Clausius の不等式を、同じ等式から導く。後者では、増えたエントロピーが「系と熱浴のあいだに生じた相関」と「熱浴が平衡からずれた分」の和に正確に等しい。

エントロピーの対数は自然対数で、単位は nat とする。熱力学のエントロピーに直すときは $k_{\mathrm B}$ を掛ける。この章では定義に記号 $\coloneqq$ を使う。この巻の約束どおり $p,q$ は確率分布に取っておくので、相空間の点は $\Gamma$、エネルギー関数（Hamiltonian）は $E(\Gamma)$ と書く。

相空間の上の相対エントロピー

$N$ 個の粒子の相空間の点を $\Gamma$ と書き、体積要素 $\mathrm{d}\Gamma$ は Planck 定数と粒子の入れ替えで割って無次元にしたもの$\mathrm{d}\Gamma=\mathrm{d}^{3N}r\,\mathrm{d}^{3N}p_{\mathrm{mom}}/(h^{3N}N!)$ とする（運動量の添字 mom は確率分布の $p$ と区別するためで、この節の外では使わない）。系の状態についての知識を、$\int\rho\,\mathrm{d}\Gamma=1$ を満たす密度 $\rho(\Gamma)$ で表す。

有限集合の上の $D$（第1部第3章）と同じく、$D(\rho\,\|\,\sigma)\ge0$ で、等号は $\rho=\sigma$（ほとんどいたるところ）のときに限る。証明も同じで、$\ln$ が上に凸であることを $\rho$ による平均に当てはめればよい。一方 $H(\rho)$ は連続の場合には負にもなり、体積要素の取り方を変えると定数だけずれる。$D$ の方は分子と分母が同じ体積要素で割られているので、体積要素の取り方によらない。次の定理の証明ではこの違いを使う。

可逆な写像は $D$ を変えない

時間 $t$ のあいだの運動を、相空間の写像 $\Gamma\mapsto\phi_t(\Gamma)$ で表す。密度は点と一緒に運ばれるので、時刻 $t$ の密度は

$$\rho_t(\Gamma)=\frac{\rho_0\bigl(\phi_t^{-1}(\Gamma)\bigr)}{\lvert J_t\bigl(\phi_t^{-1}(\Gamma)\bigr)\rvert }\tag{2.4.2}$$

になる。$J_t$ は写像 $\phi_t$ の Jacobi 行列式で、小さな体積が何倍に伸びたかを表す。分母は、伸びた体積に同じ確率が薄まることを表している。Hamilton 力学では $\lvert J_t\rvert =1$ で（Liouville の定理）、式 (2.4.2) は $\rho_t=\rho_0\circ\phi_t^{-1}$ になる。

この定理はデータ処理不等式（第1部第4章）からも導くことができる。決定論的な写像 $\phi$ は特別な通信路なので、$D(\phi_*\rho\,\|\,\phi_*\sigma)\le D(\rho\,\|\,\sigma)$ である。$\phi$ が全単射なら逆写像 $\phi^{-1}$ も通信路で、$\phi_*\rho,\phi_*\sigma$ を元に戻すので逆向きの不等式も成り立ち、等号になる。可逆な処理では情報は失われない、という当たり前のことを、$D$ の言葉で言ったものが式 (2.4.3) である。

この議論で Liouville の定理を使うのは、後半の「一様分布が動かない」という部分である。平衡の密度 $\sigma$ として、エネルギー面の近くの殻 $\Omega=\{\Gamma: E_0\le E(\Gamma)\le E_0+\Delta E\}$ の上の一様分布（ミクロカノニカル）や、カノニカル分布 $\rho_{\mathrm{can}}=\mathrm{e}^{-\beta E(\Gamma)}/Z$ をとる。どちらも $E(\Gamma)$ だけの関数なので、エネルギーが保存し体積が保たれる運動では動かない。したがって定理 2.4.2 から

$$D(\rho_t\,\|\,u_\Omega)=\ln\lvert \Omega\rvert -H(\rho_t)=\text{一定},\qquad D(\rho_t\,\|\,\rho_{\mathrm{can}})=\beta\langle E \rangle _{\rho_t}-H(\rho_t)+\ln Z=\text{一定}\tag{2.4.4}$$

が従う（$\lvert \Omega\rvert$ は $\Omega$ の体積）。細かい密度で測ると、系は平衡に1歩も近づかない。左の式の $\ln\lvert \Omega\rvert$ は時間によらないので、Gibbs のエントロピー $k_{\mathrm B} H(\rho_t)$ が一定であることと同じ内容である。