出てくるもの（3）：なぜ最大エントロピーなのか

相対エントロピーから情報と物理を組み立てる　第2部 第1章 §2.1.5　★★★ 独立な試行を数え上げると、拘束を満たす標本の経験分布は最大エントロピーの分布に集中する。Pythagoras の等式の $D(p\,\|\,p_\lambda)$ が集中の速さを決める

推論か、頻度か

ここまでの議論は、最大エントロピーの分布を「知らないことを仮定しない分布」として選んだ。これは推論の規則で、それが実験と合う理由はまだ示していない。この節では、同じ分布が「拘束を満たすほとんどすべての場合に実際に観測される頻度」でもあることを、数え上げで示す。

参照分布 $q$ から独立に $N$ 回値を引き、値 $x$ が出た回数を $n_x$、経験分布を $P(x)=n_x/N$ とする。ある経験分布 $P$ が出る確率は多項分布で、第1部第8章の定理 1.8.2（型のクラスの確率）を Stirling の公式で書き直すと

$$\Pr(\text{経験分布が }P)=\frac{N!}{\prod_xn_x!}\prod_xq(x)^{n_x}=\mathrm{e}^{-N D(P\,\|\,q)+\mathcal{O}(\ln N)}\tag{2.1.15}$$

となる。$q$ が一様分布のときは、並びの数 $N!/\prod_xn_x!\approx\mathrm{e}^{NH(P)}$ を数えることと同じで、Boltzmann が気体の状態の数え方に使った式である¹1L. Boltzmann (1877), Sitzungsber. Akad. Wiss. Wien 76, 373–435。下の脚注へ閉じる。式 (2.1.15) から、経験分布の集合 $A$ に入る確率が $\mathrm{e}^{-N\min_{P\in A}D(P\,\|\,q)}$ で減ることを示したものが Sanov の定理である（第1部第8章。ここでは結果だけを使う）。

拘束のもとでの集中

試行の結果について、「$N$ 回の $g$ の値の平均が $\bar g$ だった」ことだけを知ったとする。経験分布の言葉では $P\in\mathcal C$ である。$\mathcal C$ に入る2つの経験分布 $P$ と $p_\lambda$ の確率の比は、式 (2.1.15) と Pythagoras の等式 (2.1.6) から

$$\frac{\Pr(\text{経験分布が }P\mid\mathcal C)}{\Pr(\text{経験分布が }p_\lambda\mid\mathcal C)}\approx\mathrm{e}^{-N[D(P\,\|\,q)-D(p_\lambda\,\|\,q)]}=\mathrm{e}^{-N D(P\,\|\,p_\lambda)}\tag{2.1.16}$$

となる。$N$ が大きいと、$D(P\,\|\,p_\lambda)$ が $1/N$ より大きい経験分布はほとんど出てこない。拘束を満たす標本の経験分布は $p_\lambda$ に集中する。集中の指数がちょうど $D(P\,\|\,p_\lambda)$ になる理由は、Pythagoras の等式により、$\mathcal C$ の中では $q$ からの $D$ の差が $p_\lambda$ からの $D$ に等しいことにある。

経験分布が $p_\lambda$ に集中するので、$N$ 回のうち1回目の値の条件付き分布も $p_\lambda$ に近づく。次の定理は、第1部第8章の定理 1.8.7 を、拘束が期待値で与えられる場合に書き直したものである。この章が新しく足すのは有限の $N$ でのずれの大きさで、条件付き分布と $p_\lambda$ の差は $\mathcal{O}(1/N)$、$D$ では $\mathcal{O}(1/N^2)$ である（図 2.1.3）。

$N\to\infty$ の主張の証明は第1部第8章の定理の証明（Sanov の定理と Pythagoras の不等式）と同じ流れで、ここでは繰り返さない²2J. M. Van Campenhout and T. M. Cover (1981), IEEE Trans. Inf. Theory 27, 483–489。I. Csiszár (1984), Ann. Probab. 12, 768–793。下の脚注へ閉じる。

この定理から、最大エントロピー原理が頻度としても正しいことが分かる。$N$ 個のサイコロの目の合計が $4N$ だと分かったとき、そのうち1個の目の分布は $N\to\infty$ で例題 2.1.1 の $p_\lambda$ になる。これを熱浴の言葉に読み替えると、1個のサイコロが注目する系で、残りの $N-1$ 個が熱浴、合計の目が全体のエネルギーである。合計が値として決まっているのは全体のミクロカノニカル分布で、1個の系の分布がカノニカル分布に近づくことは、統計力学の授業で「系と熱浴」からカノニカル分布を導くことと同じである（2.1.6節）。推論としての最大エントロピーと、全体の等重率から出る頻度は、$N\to\infty$ で同じ分布になる。

図 2.1.3　$N$ 個の公平なサイコロの目の合計が $4N$ のときの、1個目の出目の条件付き分布（点線、厳密）と、平均 $4$ の最大エントロピーの分布 $p_\lambda$（実線、$N\to\infty$ の極限）。$N=3$ で $(2,3,4,5,6,5)/25$。$D(\text{条件付き分布}\,\|\,p_\lambda)$ は $N=3,10,100$ で $1.25\times10^{-2}$, $1.04\times10^{-3}$, $9.78\times10^{-6}$ と、およそ $N^{-2}$ で減る。

この節の極限で捨てたもの、すなわち定理の前に述べた有限の $N$ のずれ（条件付き分布で $\mathcal{O}(1/N)$、$D$ で $\mathcal{O}(1/N^2)$）を札にしておく。