当てる D の性質：粗く見ると混合のエントロピーは減る

相対エントロピーから情報と物理を組み立てる　第2部 第5章 §2.5.2　★★★ 種類を見分ける能力を通信路で表すと、データ処理不等式により混合のエントロピーは見分ける能力とともに連続に減り、同じ気体の極限で $0$ に近づく

同じ気体を混ぜる

A と B が同じ種類の気体だったとする。このとき、観測者に分かるのは「左室に何個、右室に何個」という数だけで、どの粒子がもともとどちらにいたかは分からない。仕切りを外す前の状態として観測者が持っている情報は、事象 $E'=\{\text{左室にちょうど }N_{\mathrm A}\text{ 個}\}$ である。$E\subset E'$ なので$p_{\mathrm{後}}(E')\ge p_{\mathrm{後}}(E)$ で、命題 2.5.1 から $D$ は小さくなる。$E'$ の確率は二項分布で、

$$D(p_{\mathrm{前}}'\,\|\,p_{\mathrm{後}})=-\ln\biggl[\binom{N}{N_{\mathrm A}}x^{N_{\mathrm A}}(1-x)^{N_{\mathrm B}}\biggr]=\frac12\ln\bigl(2\pi Nx(1-x)\bigr)+\mathcal{O}(1/N)\tag{2.5.5}$$

となる。最後の形は二項係数に Stirling の公式を当てたもので、二項分布の山の高さが $1/\sqrt{2\pi Nx(1-x)}$ であることに当たる。同じ気体の仕切りを外しても、エントロピーは厳密には $0$ でなく $k_{\mathrm B}\cdot\frac12\ln(2\pi Nx(1-x))$ だけ増える。これは左室の粒子数がもう $N_{\mathrm A}$ ちょうどでなく、$\sqrt{Nx(1-x)}$ 程度揺らぐようになった分である。しかし $N$ でなく $\ln N$ に比例するので、粒子1個あたりでは $N\to\infty$ で $0$ になり、熱力学では見えない。

データ処理不等式で読む

同じ気体の場合と違う気体の場合の差は、観測者が手にする記述の細かさの差である。違う気体を見分けられる観測者の記述は (粒子ごとの種類, 位置) で、見分けられない観測者の記述は (位置) だけである。後者は前者から種類のラベルを捨てる処理で得られる。この処理は前と後の両方の分布に同じように当たるので、データ処理不等式 $D(Wp\,\|\,Wq)\le D(p\,\|\,q)$（第1部第4章）から、見分けられない観測者にとっての $D$ は見分けられる観測者の $D$ を超えない。式 (2.5.5) と式 (2.5.2) の大小はこの一般の不等式の1つの例である。

この見方を使うと、「少しだけ違う気体」を扱える。観測者が種類を判定する装置を持っていて、それが誤り確率 $\varepsilon$ で種類を取り違えるとする（$0\le\varepsilon \le1/2$）。装置の出力を $\tilde X$ と書くと、$X\to\tilde X$ は2値対称通信路 $W_{\varepsilon }$ である。この観測者の記述は粒子ごとに $(\tilde X,Y)$ で、前と後の分布に同じ $W_{\varepsilon }$ が当たる。後の分布では $\tilde X$ と $Y$ は独立のままなので、観測者にとっての $D$ は1粒子あたり

$$\frac{D_{\varepsilon }}{N}\coloneqq D\bigl(W_{\varepsilon } p^{XY}_{\mathrm{前}}\,\big\|\,W_{\varepsilon } p^{XY}_{\mathrm{後}}\bigr)=I(\tilde X;Y)_{\mathrm{前}}=h_{\mathrm b}(x\ast\varepsilon )-h_{\mathrm b}(\varepsilon ), \qquad x\ast\varepsilon \coloneqq x(1-\varepsilon )+(1-x)\varepsilon\tag{2.5.6}$$

になる。2つ目の等号は、$\tilde X$ の周辺分布が $(x\ast\varepsilon ,\,1-x\ast\varepsilon )$ で、$Y$ を与えたときの $\tilde X$ が誤り確率 $\varepsilon$ でしか揺らがないことから、$I=H(\tilde X)-H(\tilde X\,|\,Y)$ を計算したものである。ここで $N$ 個の粒子を独立に扱った。粒子数を固定したことによる補正は式 (2.5.5) と同じく $\ln N$ の程度で、1粒子あたりでは消える。

式 (2.5.6) は $\varepsilon =0$ で $h_{\mathrm b}(x)$（違う気体）、$\varepsilon =1/2$ で $h_{\mathrm b}(1/2)-h_{\mathrm b}(1/2)=0$（同じ気体）になり、その間を連続に、しかも単調に下がる（図 2.5.1）。単調性は、$W_{\varepsilon '}$（$\varepsilon <\varepsilon '\le1/2$）が $W_{\varepsilon }$ の後にもう1つ2値対称通信路をつないだものとして書けることと、データ処理不等式から従う。Gibbs の不連続は、「区別できる（$\varepsilon =0$）」と「区別できない（$\varepsilon =1/2$）」の2点しか見ていないことから現れた。

図 2.5.1　種類を誤り確率 $\varepsilon$ で取り違える観測者にとっての、1粒子あたりの混合のエントロピー（$k_{\mathrm B}$ 単位）。式 (2.5.6) の値で、$\varepsilon =0$ の $h_{\mathrm b}(x)$ から $\varepsilon =1/2$ の $0$ まで連続かつ単調に下がる