比べる2つの分布：仕切りを外す前と後

相対エントロピーから情報と物理を組み立てる　第2部 第5章 §2.5.1　★★★ 混合のエントロピーは、混ぜる前の分布と混ぜた後の分布の相対エントロピーに等しく、それは種類と位置の相互情報量でもある

体積の等しい2つの容器に同じ温度・同じ圧力の気体を入れ、間の仕切りを外す。2つの気体が別の種類（たとえばヘリウムとネオン）なら、気体は互いに拡散して混ざり、エントロピーは $2N$ 個の粒子あたり $2N k_{\mathrm B}\ln2$ だけ増える。2つの気体が同じ種類なら、仕切りを外しても巨視的には何も変わらず、エントロピーも変わらない。ここまでは熱力学の教科書に書いてある。Gibbs が問題にしたのは、2つの気体を少しずつ似せていったときの振る舞いである。種類がわずかでも違えば増加は $2N k_{\mathrm B}\ln2$ のままで、まったく同じになった瞬間に $0$ へ跳ぶ。似ている度合いは連続に変えられそうなのに、エントロピーの増加は不連続に変わる。これが Gibbs のパラドックスである（J. W. Gibbs (1876), Trans. Connecticut Acad. Arts Sci. 3, 108–248 の気体の拡散による混合を論じた部分）。統計力学の授業では、もう1つの形でも出てくる。区別できる粒子として状態を数えると、同じ気体どうしの仕切りを外すだけで $2N k_{\mathrm B}\ln2$ が生じてしまい、エントロピーが示量的にならない。その修正として相空間の測度に $1/N!$ を入れる。

この章では、2つの問題を同じ1つの量で読む。比べる2つの分布は、仕切りを外す前の分布と、外した後の分布である。混合によるエントロピーの増加はちょうどこの2つの相対エントロピーに等しく（2.5.1 節）、それは「粒子の種類」と「粒子がいた側」の相互情報量でもある。当てる $D$ の性質はデータ処理不等式（第1部第4章）で、種類を見分ける能力が粗い観測者にとっては、$D$ が小さくなる（2.5.2 節）。見分ける能力を誤り確率 $\varepsilon$ で表すと、混合のエントロピーは $\varepsilon$ について連続に $0$ まで下がる。不連続は「区別できるか、できないか」の2通りしかないと考えたときにだけ現れる。

出てくるものは3つある。1つ目は、混合のエントロピーが取り出せる仕事の上限 $k_{\mathrm B} T$ 倍であること（2.5.3 節）で、これによってエントロピーが「誰の無知か」という問いに、操作で確かめられる答えが付く。2つ目は、$N!$ が「どの粒子がどれか」というラベルを忘れた分のエントロピー $\ln N!$ であること（2.5.4 節）。3つ目は、量子力学の同種粒子と、内部状態が重なり $c$ を持つ2種類の粒子の混合である（2.5.5 節）。後者では混合のエントロピーが $c$ の連続関数になり、Gibbs の不連続は量子力学の中で自然に解消する。

この章でも、エントロピーの対数は自然対数で、情報の量は nat で書く。熱力学のエントロピーは記法の正本どおり $S= k_{\mathrm B} H(p)$（$k_{\mathrm B}$ 込み）とし、定義には $\coloneqq$ を使う。この章の確率変数は、粒子の種類 $X\in\{\mathrm A,\mathrm B\}$ と、粒子が仕切りのどちら側にいるか $Y\in\{\mathrm L,\mathrm R\}$ である。位置を細かく指定するときは $\bm{r}$ と書く。

設定

体積 $V$ の箱を、体積 $xV$ の左室と $(1-x)V$ の右室に仕切る（$0<x<1$）。左室に気体 A の粒子を $N_{\mathrm A}=xN$ 個、右室に気体 B の粒子を$N_{\mathrm B}=(1-x)N$ 個入れる。両室の温度は $T$ で等しく、数密度も $N/V$ で等しいので、理想気体なら圧力も等しい。粒子どうしの相互作用は無視する（理想気体）。運動量の分布は温度だけで決まり、仕切りを外しても変わらないので、以下では位置の分布だけを比べる。

仕切りを外すと、どの粒子も箱全体を一様に動き回るようになる。A の粒子は A のまま、B の粒子は B のままである（種類は保存する）。長い時間の後の状態は、各粒子の位置が箱全体で一様に独立に分布した状態になる。これを「後」の分布 $p_{\mathrm{後}}$ と呼ぶ。「前」の分布 $p_{\mathrm{前}}$ は、A の粒子がすべて左室にいて、B の粒子がすべて右室にいるという条件のもとで、各室の中では一様な分布である。

条件を付けた分布の相対エントロピー

$p_{\mathrm{前}}$ と $p_{\mathrm{後}}$ の関係は簡単である。$p_{\mathrm{後}}$ のもとで「A がすべて左、B がすべて右」という事象を $E$ とすると、$p_{\mathrm{前}}$ は $p_{\mathrm{後}}$ を $E$ で条件付けたものに等しい。どちらも、許される配置の上で一様だからである。一般に、分布を事象で条件付けたときの相対エントロピーは、その事象の驚きに等しい。

証明

$\omega\in E$ では $p(\omega\,|\,E)=p(\omega)/p(E)$、$\omega\notin E$ では $p(\omega\,|\,E)=0$ である。したがって$D=\sum_{\omega\in E}p(\omega\,|\,E)\ln\frac{p(\omega)/p(E)}{p(\omega)}=\ln\frac1{p(E)}\sum_{\omega\in E}p(\omega\,|\,E)=-\ln p(E)$。

$p_{\mathrm{後}}$ のもとでは各粒子が独立に箱全体で一様なので、A の粒子が1個左室にいる確率は $x$、B の粒子が1個右室にいる確率は $1-x$ で、

$$p_{\mathrm{後}}(E)=x^{N_{\mathrm A}}(1-x)^{N_{\mathrm B}}=\bigl(x^x(1-x)^{1-x}\bigr)^N.$$

命題 2.5.1 から

$$D(p_{\mathrm{前}}\,\|\,p_{\mathrm{後}})=-N\bigl(x\ln x+(1-x)\ln(1-x)\bigr)=N\,h_{\mathrm b}(x)\tag{2.5.2}$$

を得る。ここで $h_{\mathrm b}$ は二値エントロピーである。この式は Stirling の公式も $N$ が大きいことも使っていない、厳密な等式である。

エントロピーの差と相互情報量

2つの分布はどちらも、許される配置の集合の上で一様である。一様分布のエントロピーは配置の数の対数なので、エントロピーの差は$\ln(\text{後の配置の数}/\text{前の配置の数})=-\ln p_{\mathrm{後}}(E)$ になり、式 (2.5.2) と一致する。したがって

$$\Delta S_{\mathrm{mix}}\coloneqq S_{\mathrm{後}}-S_{\mathrm{前}}= k_{\mathrm B}\,D(p_{\mathrm{前}}\,\|\,p_{\mathrm{後}})=-N k_{\mathrm B}\bigl(x\ln x+(1-x)\ln(1-x)\bigr).\tag{2.5.3}$$

これは熱力学の教科書の混合エントロピーそのものである。この章の見方では、混合のエントロピーは「混ぜた後の分布を信じている人が、混ぜる前の状態を見たときの驚き」であり、自発的に混ざる前の配置に戻る確率 $\mathrm{e}^{-\Delta S_{\mathrm{mix}}/ k_{\mathrm B}}$ の対数でもある。

同じ量は、1個の粒子についての相互情報量としても読める。1個の粒子を無作為に選び、その種類を $X$、いた側を $Y$ とする。前の分布では $X$ と $Y$ は完全に相関していて、$p_{\mathrm{前}}(\mathrm A,\mathrm L)=x$、$p_{\mathrm{前}}(\mathrm B,\mathrm R)=1-x$、他は $0$ である。後の分布では種類と位置は独立で、$p_{\mathrm{後}}(X,Y)=p_X(X)\,p_Y(Y)$、周辺分布はどちらも $(x,1-x)$ のままである。したがって、第1部第3章 の相互情報量の定義から

$$\frac{\Delta S_{\mathrm{mix}}}{N k_{\mathrm B}}=D(p_{\mathrm{前}}^{XY}\,\|\,p_Xp_Y)=I(X;Y)_{\mathrm{前}}=H(X)=h_{\mathrm b}(x).\tag{2.5.4}$$

仕切りを外すことで失われるのは、「粒子の種類を知れば、どちら側にいるかが分かる」という相関であり、混合のエントロピーはその相関の量である。位置を $Y$ でなく細かい $\bm{r}$ で表しても、前の分布で $X$ が $\bm{r}$ から決まることは変わらないので、$I(X;\bm{r})_{\mathrm{前}}=H(X)$ で値は同じである。