条件付き極限定理：Gibbs 分布が出てくる

相対エントロピーから情報と物理を組み立てる　第1部 第8章 §1.8.4　★★★ めったに起きないことが起きたと知ると、1個の標本は I 射影の分布に従う。微視的カノニカルからカノニカルへの橋

条件をつけた世界の経験分布

Sanov の定理は、めったに起きないことが「最もありそうな起こり方」1つでほぼ起きると言った。これを確率の言葉に直したものが次の定理である。

第2部第1章（定理 2.1.2）は、この定理を最大エントロピー原理の側から使い、有限の個数のずれまで評価する。この定理は、有限の $\mathcal X$ では型の数え上げだけで示すことができる。一般の可測空間で、I 射影が存在しない場合も含めて示したのは I. Csiszár である¹1I. Csiszár (1984), Ann. Probab. 12, 768–793。下の脚注へ閉じる。定理の (2) は1個の標本についての主張だが、全エネルギーをちょうど決める条件（$E$ が超平面のとき）でも、超平面の上の型を数えれば同じ結論が得られる。図 1.8.3 はこの場合の数値である。同じ論法で、固定した $k$ 個の標本 $X_1,\dots,X_k$ が条件のもとで漸近的に独立に $p^*$ に従うことも示すことができる。

Gibbs 分布が出る理由

$E$ を平均を決めた集合 $E_a=\{p:\langle f \rangle _p\ge a\}$（$a>\mu$）に選ぶと、1.8.3節で見たとおり I 射影は指数型の分布 $q_{\lambda^*}$ である。ここで物理の言葉に読み替える。$\mathcal X$ を1個の粒子の微視的な状態の集合、$f(x)=\varepsilon (x)$ をその状態のエネルギー、$q$ を一様分布とする。系列 $X^n$ は $n$ 個の粒子の微視的な状態で、$q^n$ はすべての微視的な状態を等しく重みづける。全エネルギーを $\sum_i\varepsilon (X_i)\approx nu$ に限ることは、微視的カノニカル集団をとることにあたる。条件付き極限定理によれば、このとき1個の粒子の状態は

$$p^*(x)=\frac{\mathrm{e}^{-\beta\varepsilon (x)}}{Z(\beta)},\qquad Z(\beta)=\sum_x\mathrm{e}^{-\beta\varepsilon (x)},\qquad\langle \varepsilon \rangle _{p^*}=u\tag{1.8.15}$$

に従う。$\beta=-\lambda^*$ で、$u$ が一様分布の平均エネルギーより小さいときは $\lambda^*<0$、すなわち $\beta>0$ である（1.8.3節は $a>\mu$ で書いたが、$a<\mu$ でも符号を変えて同じ議論ができる）。「大きな系全体のエネルギーを決めると、その一部分はカノニカル分布に従う」という統計力学の標準的な議論は、普通は熱浴の状態数を展開して示す。ここではそれが「エネルギーを決めた条件のもとで最もありそうな経験分布は、エネルギーの平均を決めて $D(p\|\text{一様})$ を最小にする分布、すなわちエントロピー $H(p)$ を最大にする分布である」と言い換えられた。$D(p\|\text{一様})=\ln\lvert \mathcal X\rvert -H(p)$ なので、$D$ の最小とエントロピーの最大は同じことである。この「最大エントロピー」の側からの読み方は 第2部第1章 で推論の原理として取り上げ直す。

図 1.8.3　エネルギー $0,1,2$（単位 $\varepsilon _0$）の3準位の粒子 $n$ 個で、全エネルギーを $n/2$ に決めたときに粒子1個が基底状態にある確率。丸印は状態の数え上げによる厳密な値、点線は例題 1.8.5 の Gibbs 分布の値。