出てくるもの（3）：Markov 連鎖の H 定理

相対エントロピーから情報と物理を組み立てる　第1部 第4章 §1.4.5　★★★ 定常分布との相対エントロピーは時間とともに増えない。エントロピーそのものは増えるとは限らない。第二法則の最初の情報的な形

定常分布に近づく向き

状態の集合の上で、1ステップごとに確率行列 $W$ で遷移する Markov 連鎖を考える。時刻 $n$ の分布を $p_n$ とすると $p_{n+1}=Wp_n$ である。$W\pi=\pi$ を満たす分布 $\pi$ を定常分布と呼ぶ。

証明

定理 1.4.1 を $p_n$ と $q_n$ に当てると $D(Wp_n\,\|\,Wq_n)\le D(p_n\,\|\,q_n)$。$q_0=\pi$ と置けば $q_n=\pi$ のままなので式 (1.4.21) になる。

証明は定理 1.4.1 の言い直しにすぎない。時間発展を1ステップ進めることは確率的な処理であり、2つの分布（今の分布と定常分布）に同じ処理を当てているので、その違いは減る。定理は詳細つり合い（$W(y\,|\,x)\pi(x)=W(x\,|\,y)\pi(y)$）を仮定していない。

エントロピーが増えるのは定常分布が一様なとき

各行の和も $1$ である確率行列（二重確率行列）では一様分布 $u(x)=1/N$（$N$ は状態の数）が定常分布になる。このとき

$$D(p\,\|\,u)=\sum_xp(x)\ln\bigl(Np(x)\bigr)=\ln N-H(p)\tag{1.4.22}$$

なので、式 (1.4.21) は $H(p_{n+1})\ge H(p_n)$ と同じになる。「エントロピーは増える」という形の主張は、定常分布が一様な場合に限って D の単調性と一致する。

定常分布が一様でないときは、増えないのは $D(p_n\,\|\,\pi)$ であって、エントロピー $H(p_n)$ は減ることがある。図 1.4.4 は3状態の連鎖

$$W=\begin{pmatrix}0.9&0&0.2\\0.1&0.8&0\\0&0.2&0.8\end{pmatrix},\qquad \pi=\Bigl(\frac12,\,\frac14,\,\frac14\Bigr)\tag{1.4.23}$$

で、状態2から出発した場合の2つの量を描いたものである（$W$ の $(y,x)$ 成分が $x\to y$ の遷移確率）。この連鎖は $1\to2\to3\to1$ の向きにだけ遷移するので詳細つり合いを満たさない。$D(p_n\,\|\,\pi)$ は単調に $0$ へ減るが、$H(p_n)$ は $n=5$ で定常分布の値 $H(\pi)=\frac32\ln2=1.040$ を超え、$n=7$ で最大になった後は減って $H(\pi)$ に近づく。定常分布より「広がった」分布を経由するとき、エントロピーは減る向きに動く。

単調性は収束を保証しない

定理 1.4.6 の主張は $D(p_n\,\|\,\pi)$ が増えないことだけで、$0$ に近づくことは含まれていない。2状態を毎ステップ必ず入れ替える連鎖 $W=\bigl(\begin{smallmatrix}0&1\\1&0\end{smallmatrix}\bigr)$ では $\pi=(1/2,1/2)$ だが、$p_0=(1,0)$ から出発すると $p_n$ は $(1,0)$ と $(0,1)$ を交互にとり、$D(p_n\,\|\,\pi)=\ln2$ のまま減らない。$W$ が置換行列なので処理で失われるものがなく、定理 1.4.1 の等号が成り立ち続ける。$p_n\to\pi$ を言うには、連鎖がどの状態からどの状態へも行けること（既約）と、戻る時刻の最大公約数が $1$ であること（非周期）を別に仮定し、単調性に「等号が続くのは $p_n=\pi$ のときだけ」という評価を足す必要がある。

物理への読み替え

$\pi$ が温度 $T$ の Gibbs 分布 $\pi(x)=\mathrm{e}^{-\beta E(x)}/Z$（$\beta=1/( k_{\mathrm B} T)$）のとき、

$$k_{\mathrm B} T\,D(p\,\|\,\pi)=\langle E \rangle _p- k_{\mathrm B} T\,H(p)-F_{\mathrm{eq}},\qquad F_{\mathrm{eq}}=- k_{\mathrm B} T\ln Z$$

となる。右辺の $\langle E \rangle _p- k_{\mathrm B} TH(p)$ は分布 $p$ に対する非平衡の自由エネルギーで、H 定理は「熱浴に接した系の自由エネルギーは時間とともに減る」という形の第二法則になる。この式の導出と、平衡分布がこの自由エネルギーの最小点であることは 第2部第2章（Gibbs の変分原理）で扱う。物理の系の時間発展そのものはユニタリ（古典なら Liouville の定理で相空間の体積を保つ）で、細かく見ればエントロピーは変わらない。状態を粗く見たときの時間発展が Markov 連鎖で書けるかどうかは、この章の外の問題で、第2部第4章（粗視化と第二法則）と解析力学から様々な理論分野を組み立てる 第3部第1章 で、情報の側と力学の側から扱う。経路の確率の相対エントロピーとして第二法則を書く形は 第4部第3章 で扱う。