出てくるもの（2）：第二法則はデータ処理不等式の1つの姿

相対エントロピーから情報と物理を組み立てる　第1部 第1章 §1.1.4　★★★ Gibbs 分布と比べると自由エネルギーの余りが $k_{\mathrm B} T\,D$ になり、熱浴と接した緩和で $D$ が減ることから第二法則が出る。巻全体の主張の最小の形

Gibbs の変分原理

温度 $T$ の熱浴と接した系が、エネルギー $E_i$ の状態 $i$ をとるとする。統計力学の Gibbs 分布（カノニカル分布）は

$$p_{\mathrm{eq}}(i)=\frac{\mathrm{e}^{-\beta E_i}}{Z},\qquad Z=\sum_i\mathrm{e}^{-\beta E_i},\qquad F_{\mathrm{eq}}=- k_{\mathrm B} T\ln Z\tag{1.1.9}$$

である（$\beta=1/( k_{\mathrm B} T)$）。系の分布が $p_{\mathrm{eq}}$ でない任意の分布 $p$ のときにも、平均エネルギーとエントロピーから

$$F[p]=\langle E \rangle _p- k_{\mathrm B} T\,H(p)\tag{1.1.10}$$

と自由エネルギーを定めておく。$k_{\mathrm B} H(p)$ は Gibbs のエントロピーで、平衡では熱力学のエントロピー $S$ に一致する。$p$ と $p_{\mathrm{eq}}$ を比べると、$\ln p_{\mathrm{eq}}(i)=-\beta E_i-\ln Z$ なので

$$D(p\,\|\,p_{\mathrm{eq}})=\sum_ip(i)\ln p(i)+\beta\sum_ip(i)E_i+\ln Z=-H(p)+\beta\langle E \rangle _p-\beta F_{\mathrm{eq}}$$

となり、両辺に $k_{\mathrm B} T$ を掛けると

$$F[p]-F_{\mathrm{eq}}= k_{\mathrm B} T\,D(p\,\|\,p_{\mathrm{eq}})\ \ge0\tag{1.1.11}$$

を得る。非負性から、温度を決めた系の自由エネルギーは Gibbs 分布でただ1つの最小値をとる。これが Gibbs の変分原理である。左辺の自由エネルギーの余りは、等温の操作でこの系から取り出せる仕事の上限になる（第2部第2章・第4部第5章）。比べる相手を Gibbs 分布に選ぶと、熱力学の量が $D$ で書けた。

緩和と第二法則

次に、系が熱浴と接したまま時間が経つことを、時刻 $t$ の分布 $p_t$ から次の時刻の分布を $p_{t+1}=Wp_t$ と決める確率行列 $W$ で書く。熱浴と接して十分時間が経てば Gibbs 分布に落ち着くので、$W$ は $p_{\mathrm{eq}}$ を動かさない（$Wp_{\mathrm{eq}}=p_{\mathrm{eq}}$）ように作る。このとき、データ処理不等式 (1.1.4) で $q=p_{\mathrm{eq}}$ とおけば

$$D(p_{t+1}\,\|\,p_{\mathrm{eq}})=D(Wp_t\,\|\,Wp_{\mathrm{eq}})\le D(p_t\,\|\,p_{\mathrm{eq}})\tag{1.1.12}$$

となり、式 (1.1.11) と合わせると $F[p_{t+1}]\le F[p_t]$ が出る。等温で外から仕事をしない系の自由エネルギーは時間とともに減る。これは熱力学の第二法則の等温の場合の形である。証明に使ったのは、$W$ が確率行列であることと、$W$ が $p_{\mathrm{eq}}$ を動かさないことの2つだけで、$W$ の細かい形はどうでもよい。第二法則はデータ処理不等式の1つの姿であるというのが、この巻を通す主張であり、式 (1.1.12) はその最小の形である。

図 1.1.2 は、エネルギー $0,\varepsilon ,2\varepsilon$ の3準位系を、隣の準位への飛び移りだけを許す確率行列で緩和させた例である。$D(p_t\,\|\,p_{\mathrm{eq}})$ が単調に減ることに加えて、別々の初期分布から出発した2つの分布の間の $D(p_t\,\|\,q_t)$ も単調に減っている。データ処理不等式は比べる相手が動かない分布でなくても成り立つので、緩和は「どこから出発したか」という手がかりを消していく過程でもある。

熱浴と接した系の時間発展を、その時刻の分布だけで次の分布が決まる確率行列で書いたところに、近似が入っている。本当は系と熱浴を合わせた全体が力学に従って動き、系の分布の変化は過去の履歴にも依る。履歴に依らない形（Markov 過程）で書けるのは、系と熱浴の結合が弱く、熱浴の相関が系の変化より速く消える極限である¹1E. B. Davies (1974), Commun. Math. Phys. 39, 91–110。量子の有限次元の系について、結合の強さ $\lambda\to0$ で $\lambda^2t$ を固定する極限で Markov 的な主方程式が出ることを示した。下の脚注へ閉じる。この巻の第2部第4章（第2部第4章）では、全体の力学がエントロピーを保つ（Liouville の定理）こととこの単調性がどう両立するかを、粗視化の問題として扱う。

1　E. B. Davies (1974), Commun. Math. Phys. 39, 91–110。量子の有限次元の系について、結合の強さ $\lambda\to0$ で $\lambda^2t$ を固定する極限で Markov 的な主方程式が出ることを示した。

2　L. Szilard (1929), Z. Phys. 53, 840–856。

3　R. Landauer (1961), IBM J. Res. Dev. 5, 183–191。