比べる2つの分布：知っていることを満たす分布と参照分布

相対エントロピーから情報と物理を組み立てる　第2部 第1章 §2.1.1　★★★ 部分的な知識を「期待値の拘束」として書き、拘束を満たす分布のうち参照分布に最も近いものを選ぶ、という問題を立てる

統計力学の教科書は、カノニカル分布 $p(i)\propto\mathrm{e}^{-\beta E_i}$ を「系と熱浴を合わせた全体の等重率」から導く。この章では同じ分布を、まったく別の問いの答えとして導く。その問いは「系について平均エネルギーしか知らないとき、どの確率分布を使って予言するのが正しいか」である。E. T. Jaynes はこの問いに、知っていることを満たす分布のうち Shannon エントロピーが最大のものを使え、と答えた¹1E. T. Jaynes (1957), Phys. Rev. 106, 620–630。下の脚注へ閉じる。これが最大エントロピー原理である。

この巻の言葉では、Shannon エントロピーを最大にすることは一様分布に対する相対エントロピーを最小にすることと同じである（第1部第1章）。したがってこの章で比べる2つの分布は、「知っていることを満たす分布 $p$」と「何も知らないときに使う参照分布 $q$」であり、当てる性質は $D$ の非負性である。2.1.1節で問題を立て、2.1.2節で解が指数型の分布になり、しかも一意であることを、$D$ の Pythagoras の等式から示す。2.1.3節で拘束を平均エネルギーに選ぶとカノニカル分布と温度が出ることを、2.1.4節で粒子数・占有数・連続変数へ広げるとグランドカノニカル分布・Fermi 分布と Bose 分布・Maxwell 分布が出ることを示す。2.1.5節では、この推論がなぜ当たるのかを数え上げで確かめる。拘束を満たす標本の経験分布は、標本の数が大きいと最大エントロピーの分布に集中する。2.1.6節で統計力学の授業の導き方（系と熱浴・最も確からしい分布）と統計学の最尤推定に対応させ、2.1.7節でまとめる。

この章の対数はすべて自然対数で、Shannon エントロピー $H(p)$ の単位は nat である。熱力学のエントロピーは $S= k_{\mathrm B} H(p)$ とする。相空間の上の力学から同じ分布を導く読み方は 解析力学から様々な理論分野を組み立てる 第3部第3章 にあり、この章はその情報の側の対である。

部分的な知識を拘束として書く

有限個の値をとる確率変数 $X$（値の集合 $\mathcal X$）について、いくつかの関数 $g_1(x),\dots,g_m(x)$ の期待値だけが分かっているとする。

$$\mathcal C\coloneqq\Bigl\{p\ \Big|\ \sum_{x}p(x)=1,\quad \langle g_k \rangle _p\coloneqq\sum_xp(x)\,g_k(x)=\bar g_k\quad(k=1,\dots,m)\Bigr\}\tag{2.1.1}$$

を拘束を満たす分布の集合と呼ぶ。サイコロなら $g(x)=x$ で「出目の平均が $\bar g$」、熱浴と接した系なら $g(i)=E_i$ で「平均エネルギーが $U$」である。$\mathcal C$ には普通、無数の分布が入っている。予言に使う分布を1つに決めるには、何か別の基準が要る。

Jaynes の答えは、$\mathcal C$ の中で Shannon エントロピー $H(p)=-\sum_xp(x)\ln p(x)$ が最大の分布を選ぶことである。理由は次のとおりである。$H(p)$ は、$X$ の値を知ったときの驚きの平均で、分布 $p$ を使う人がまだ知らないことの量である（第1部第2章）。$\mathcal C$ の中で $H$ が小さい分布を選ぶと、拘束からは出てこない何かを知っていると仮定したことになる。$H$ が最大の分布は、拘束に書いたこと以外は何も仮定しない分布である。

参照分布との相対エントロピーで言い直す

値が $\lvert \mathcal X\rvert$ 個のとき、一様分布 $u(x)=1/\lvert \mathcal X\rvert$ に対する相対エントロピーは

$$D(p\,\|\,u)=\sum_xp(x)\ln\bigl(\lvert \mathcal X\rvert \,p(x)\bigr)=\ln\lvert \mathcal X\rvert -H(p)\tag{2.1.2}$$

である（第1部第1章）。$\ln\lvert \mathcal X\rvert$ は $p$ によらないので、$H(p)$ を最大にすることと $D(p\,\|\,u)$ を最小にすることは同じである。一様分布は「拘束を知る前に使っていた分布」とみなせる。最大エントロピー原理は、拘束を知る前の分布から、拘束を満たす範囲でできるだけ動かない分布を選ぶ規則と読める。

この読み方をすると、一様分布でない参照分布 $q$ を使う一般化がすぐに書ける。

$$p_{\mathrm{ME}}\coloneqq\operatorname*{arg\,min}_{p\in\mathcal C}D(p\,\|\,q)\tag{2.1.3}$$

を最小相対エントロピー原理と呼ぶ²2S. Kullback (1959), Information Theory and Statistics (Wiley) が「最小判別情報」の名で導入した。J. E. Shore and R. W. Johnson (1980), IEEE Trans. Inf. Theory 26, 26–37 は、推論の一貫性についてのいくつかの公理から、拘束を取り入れる規則がこの形に限られることを示した。下の脚注へ閉じる。$q$ が一様分布のとき最大エントロピー原理に戻る。比べる2つの分布は、拘束を満たす $p$ と、拘束を知る前の $q$ である。$q$ は「何も知らないときに、どの値を同じ重みで数えるか」を決める分布で、連続変数ではこの選び方が物理の中身になる（2.1.4節）。

サイコロの例

出目 $1,\dots,6$ のサイコロについて、「多数回振ったときの出目の平均が $4$ だった」とだけ聞いたとする。$\mathcal C$ には、$4$ だけが出るサイコロ、$3$ と $5$ が半々のサイコロなど、無数の分布が入る。最大エントロピーの分布は次の節の一般論で $p(x)\propto\mathrm{e}^{-\lambda x}$ の形になり、$\lambda$ は平均が $4$ になるように決まる。図 2.1.1 に、平均を $2$, $3.5$, $4$, $5$ と変えたときの最大エントロピーの分布を示す。平均が $3.5$ のときは拘束から何も分からないのと同じで、一様分布に戻る。平均が $3.5$ より大きいと $\lambda<0$ となり、大きい目ほど確率が高い。平均 $2$ と平均 $5$ の分布は互いに左右を裏返したもので、$\lambda$ の符号だけが違う。

1　E. T. Jaynes (1957), Phys. Rev. 106, 620–630。

2　S. Kullback (1959), Information Theory and Statistics (Wiley) が「最小判別情報」の名で導入した。J. E. Shore and R. W. Johnson (1980), IEEE Trans. Inf. Theory 26, 26–37 は、推論の一貫性についてのいくつかの公理から、拘束を取り入れる規則がこの形に限られることを示した。