出てくるもの（3）：温度の違う Gibbs 分布と熱容量

相対エントロピーから情報と物理を組み立てる　第2部 第2章 §2.2.5　★★ 2つの温度の Gibbs 分布の相対エントロピーは $\ln Z$ の凸性で書け、2次の係数は $\mathrm{Var}(E)= k_{\mathrm B} T^2C$。熱容量は隣り合う温度の見分けやすさ

$\ln Z$ の凸性

Pythagoras の分解 (2.2.9) の第2項は、2つの Gibbs 分布の相対エントロピーだった。第1部第7章の式 (1.7.20) と同じ式を、ここでは Pythagoras の分解の第2項として読み直す。分配関数で書くと

$$D(p_\beta\,\|\,p_{\beta'})=\sum_ip_\beta(i)\bigl[-(\beta-\beta')E_i-\ln Z(\beta)+\ln Z(\beta')\bigr]=\ln Z(\beta')-\ln Z(\beta)+(\beta'-\beta)U(\beta)\tag{2.2.17}$$

となる。$U(\beta)=-\partial_\beta\ln Z$ なので、右辺は関数 $\ln Z(\beta)$ と、その $\beta$ での接線との $\beta'$ での差である。$\ln Z$ を $\beta$ で2回微分すると

$$\frac{\mathrm{d}^2\ln Z}{\mathrm{d}\beta^2}=-\frac{\mathrm{d} U}{\mathrm{d} \beta}=\langle E^2 \rangle _\beta-\langle E \rangle _\beta^2=\mathrm{Var}_\beta(E)\ge0\tag{2.2.18}$$

で（第1部第7章の式 (1.7.17)）、$\ln Z$ は凸関数である。凸関数はいつも接線より上にあるので、式 (2.2.17) が $0$ 以上であることは $\ln Z$ の凸性と同じことを言っている。2.2.2節で $U(\beta)$ が $\beta$ について減少すると述べた根拠もこの式である。

$\beta'=\beta+\delta\beta$ として式 (2.2.17) を $\delta\beta$ で展開すると、1次の項は消え、

$$D(p_\beta\,\|\,p_{\beta+\delta\beta})=\frac12\mathrm{Var}_\beta(E)\,\delta\beta^2+\mathcal{O}(\delta\beta^3)\tag{2.2.19}$$

となる。序章で $D(p_\theta\,\|\,p_{\theta+\delta})\approx\frac12J(\theta)\delta^2$ の係数を Fisher 情報と呼んだので、Gibbs 分布の族の $\beta$ についての Fisher 情報は $J(\beta)=\mathrm{Var}_\beta(E)$ である（Fisher 情報の一般の形は 第1部第7章）。熱容量 $C=\frac{\mathrm{d} U}{\mathrm{d} T}$ と $\frac{\mathrm{d} U}{\mathrm{d} \beta}=- k_{\mathrm B} T^2\frac{\mathrm{d} U}{\mathrm{d} T}$ から $\mathrm{Var}_\beta(E)= k_{\mathrm B} T^2C$ なので、温度で書き直すと $\delta\beta=-\delta T/( k_{\mathrm B} T^2)+\mathcal{O}(\delta T^2)$ から

$$D(p_T\,\|\,p_{T+\delta T})\approx\frac{C}{2 k_{\mathrm B}}\Bigl(\frac{\delta T}{T}\Bigr)^2\tag{2.2.20}$$

を得る（第1部第7章の式 (1.7.17)・(1.7.19) と同じ中身を $D$ の側から書いたもの）。熱容量の大きい系ほど、少しだけ温度の違う2つの Gibbs 分布を見分けやすい。相転移の近くで熱容量が大きくなる系では、温度のわずかな違いが分布の大きな違いになる。逆に、エネルギーのゆらぎを1回測って温度を推定するとき、Cramér–Rao の不等式（第1部第7章）から推定の分散は $1/J(\beta)$ より小さくできない。温度計の精度の限界は熱容量によって決まる。

図 2.2.4　単原子の理想気体の1粒子（$C=\frac32 k_{\mathrm B}$）について、温度 $T$ と $T'$ の Maxwell 分布の相対エントロピー。点線は厳密な $\frac32\bigl(T/T'-1+\ln(T'/T)\bigr)$、実線は2次の近似 (2.2.20)。$T'/T=1$ の近くで一致し、離れると非対称になる。温度を下げた分布との方が見分けやすい。