授業で習った形との対応

相対エントロピーから情報と物理を組み立てる　第2部 第5章 §2.5.6　★★ 授業の混合エントロピー・理想溶液の混合 Gibbs エネルギー・Sackur–Tetrode の式・$1/N!$ は、どれもこの章の $D$ と連鎖律の式の言い換えである

熱力学の混合エントロピー

熱力学の授業では、混合エントロピーを次のように求める。各気体が混合の後に全体積 $V$ を占めることに注目し、気体 A は $V_{\mathrm A}$ から $V$ へ、気体 B は $V_{\mathrm B}$ から $V$ へ、それぞれ独立に等温膨張したと考える。理想気体の等温膨張のエントロピー変化 $N k_{\mathrm B}\ln(V_{\text{後}}/V_{\text{前}})$ を足して

$$\Delta S_{\mathrm{mix}}=N_{\mathrm A} k_{\mathrm B}\ln\frac{V}{V_{\mathrm A}}+N_{\mathrm B} k_{\mathrm B}\ln\frac{V}{V_{\mathrm B}}=-N k_{\mathrm B}\sum_ix_i\ln x_i\tag{2.5.18}$$

を得る（$x_i=N_i/N$ はモル分率）。この章の形 (2.5.4) と並べると、右辺の $-\sum_ix_i\ln x_i$ はモル分率の分布の Shannon エントロピー $H(X)$ で、それが前の状態での種類と位置の相互情報量 $I(X;Y)_{\mathrm{前}}$ に等しい。等温膨張で考える教科書の手順は、2.5.3 節の半透膜のピストンの過程を数式でなぞったものである。3種類以上の気体でも、前の状態で $Y$ が $X$ で決まるので $I(X;Y)_{\mathrm{前}}=H(X)$ がそのまま成り立つ。

化学の理想溶液

化学熱力学では、理想溶液（または理想気体の混合物）の混合 Gibbs エネルギーを

$$\Delta G_{\mathrm{mix}}=nRT\sum_ix_i\ln x_i\tag{2.5.19}$$

と書く（$n$ は全物質量）。混合のエンタルピーが $0$ なので $\Delta G_{\mathrm{mix}}=-T\Delta S_{\mathrm{mix}}$ で、この章の言葉では $- k_{\mathrm B} T\,D(p_{\mathrm{前}}\,\|\,p_{\mathrm{後}})$ である。化学ポテンシャルの $\mu_i=\mu_i^\circ+RT\ln x_i$（1モルあたり）の $RT\ln x_i$ は、成分 $i$ の1粒子の驚き $-\ln x_i$ に $- k_{\mathrm B} T$ を掛けたものを1モル分にしたものに当たる。

統計力学の $1/N!$ と Sackur–Tetrode の式

統計力学の授業では、相空間の測度を $\mathrm{d}\Gamma=\mathrm{d}^{3N}q\,\mathrm{d}^{3N}p/(h^{3N}N!)$ とし、$N!$ を「同種粒子は区別できないので、入れ替えで移り合う状態を1つと数える」と説明する（解析力学から様々な理論分野を組み立てる 第3部第2章）。この章の式 (2.5.10) は同じことを、エントロピーの連鎖律$H(\text{組})=H(\text{集合})+\ln N!$ として述べている。授業の説明で「区別できない」と言うところを、この章は「ラベルの情報 $\ln N!$ を記述から捨てた」と言い換えている。Sackur–Tetrode の式 (2.5.11) は、その後に Stirling の公式を当てたものである。

次の表に対応をまとめる。