当てる D の性質：凸性と Pythagoras の分解

相対エントロピーから情報と物理を組み立てる　第2部 第2章 §2.2.2　★★★ Gibbs 分布の族に対して相対エントロピーは直角三角形のように分かれ、自由エネルギーの余りが「同じエネルギーでの最大エントロピーからの不足」と「温度の違い」の和になる

凸性

序章では非負性とデータ処理不等式を使った。この章ではもう1つ、凸性を使う。

凸関数の極小は最小で、狭義の凸関数の最小を与える点はただ1つである。したがって $F[p]$ を下げる方向に分布を少しずつ動かす計算は、途中で別の極小に止まることがない。2.2.4節で試す分布の族を狭めると、この性質は失われる。族が凸集合でないと、$F$ を族の上に制限した関数に極小が複数現れうるからである。命題を言い換えると、2つの分布を混ぜると自由エネルギーは平均より下がる。下がる分は $k_{\mathrm B} T$ と混合のエントロピー $H(\lambda p_1+(1-\lambda)p_2)-\lambda H(p_1)-(1-\lambda)H(p_2)$ の積で、混合のエントロピーは $\lambda=1/2$ のとき $\ln2$ を超えない。

Pythagoras の分解

温度 $T$ の Gibbs 分布を $p_\beta$ と書き、$\beta$ を動かした族 $\{p_\beta\}$ を考える。任意の分布 $p$ の平均エネルギーを $U_p=\langle E \rangle _p$ とし、同じ平均エネルギーを持つ Gibbs 分布を $p_{\beta^*}$ とする。$p_\beta$ の平均エネルギー $U(\beta)=-\partial_\beta\ln Z$ は $\beta$ について狭義に減少する（2.2.5節で示すように $\partial_\beta U=-\mathrm{Var}_\beta(E)<0$）ので、$U_p$ が最小と最大のエネルギーの間にあれば $\beta^*$ はただ1つ決まる。$\beta^*$ は負でもよい。上の準位ほど多く占める分布は、負の温度の Gibbs 分布と同じ平均エネルギーを持つ。

式 (2.2.8) と非負性から $H(p)\le H(p_{\beta^*})$ がすべての $p$ について成り立つ。これは平均エネルギーを決めたときエントロピーが Gibbs 分布で最大になる、という前の章の最大エントロピー原理そのものである。式 (2.2.7) に $k_{\mathrm B} T$ を掛け、式 (2.2.3) と組み合わせると

$$F[p]-F_{\mathrm{eq}}=\underbrace{T\bigl[ k_{\mathrm B} H(p_{\beta^*})- k_{\mathrm B} H(p)\bigr]}_{\text{同じ平均エネルギーでのエントロピーの不足}}+\underbrace{ k_{\mathrm B} T\,D(p_{\beta^*}\,\|\,p_\beta)}_{\text{温度の違い}}\tag{2.2.9}$$

となる。第1項は、平均エネルギーを変えずにエントロピーを最大にすれば消える部分で、前の章の最大エントロピー原理が扱った部分である。第2項は、温度 $T^*=1/( k_{\mathrm B}\beta^*)$ の平衡状態が温度 $T$ の熱浴と接したときの余りで、熱のやりとりで消える部分である。最大エントロピー原理と自由エネルギー最小の原理は、1つの恒等式 (2.2.7) の2つの項として並ぶ。

図 2.2.1　Pythagoras の分解 (2.2.7) の模式図。平均エネルギーが $U_p$ に等しい分布の集合（縦の線）と Gibbs 分布の族（曲線）は $p_{\beta^*}$ で交わり、相対エントロピーについて「直交」している。距離ではなく相対エントロピーの和として成り立つ関係で、図の長さは目安である。

この「直交」は Euclid 空間の直交とは意味が違う。相対エントロピーは距離ではなく、2乗した距離に近い量（$D(p_\theta\,\|\,p_{\theta+\delta})\approx\frac12J(\theta)\delta^2$）なので、2乗の距離が足し算になる関係が直角三角形にあたる。式 (2.2.7) が近似でなく等式で成り立つのは、Gibbs 分布の対数がエネルギーの1次式であることによる。この性質を持つ分布の族を指数型分布族と呼び、統計学の最尤推定でも同じ分解が成り立つ（第1部第4章）。