授業で習った形との対応

相対エントロピーから情報と物理を組み立てる　第4部 第4章 §4.4.6　★★ Kelvin の原理・Clausius の不等式・Jarzynski 等式・通信路の相互情報量が、測定のある場合にどう書き換わるか

熱力学の授業では、第二法則を Kelvin の原理「1つの熱浴と接して1周する過程で、系が外にする仕事は正にならない」として習う。式で書けば、1周の過程で

$$-W\le0\qquad\text{（授業の形）}\qquad\longrightarrow\qquad -\langle W \rangle \le k_{\mathrm B} T\,I(X;Y)\qquad\text{（この章の形）}$$

である。右側は 1 周で $\Delta F_y=0$ とした式 (4.4.15) で、測定が無い（$I=0$）か、測った結果を使わない（操作が $y$ によらない）なら左側に戻る。授業の形が仮定していたのは「操作が系の状態に依存しない」ことで、この章はその仮定を外したときの形である。

Clausius の不等式は、1つの熱浴（温度 $T$）について、1周で系が受け取る熱 $Q$ に $Q/T\le0$ を課す。1周では $\Delta U=0$ なので第一法則 $\Delta U=Q+W$ から $Q=-W$ で、

$$\frac{Q}{T}\le0\qquad\longrightarrow\qquad\frac{\langle Q \rangle }{T}\le k_{\mathrm B}\,I(X;Y)$$

になる。熱浴のエントロピーは平均で $k_{\mathrm B}\,I(X;Y)$ だけ減ってよい。

1分子の等温膨張の仕事 $k_{\mathrm B} T\ln(V_{\mathrm f}/V_{\mathrm i})$ は、$N$ 分子の理想気体の $N k_{\mathrm B} T\ln(V_{\mathrm f}/V_{\mathrm i})$ の $N=1$ の場合である。1 mol の気体を等温で体積2倍にすると $RT\ln2$（$300\,\mathrm K$ で $1729\,\mathrm J$）が出るが、これを Szilard エンジンで得るには $N_{\mathrm A}$ ビットの情報が要る。

統計力学の授業や前の章で習う Jarzynski 等式 $\langle \mathrm{e}^{-\beta W} \rangle =\mathrm{e}^{-\beta\Delta F}$ は、操作の手順を初めに決めておく過程の等式である。フィードバックのある過程では左辺に $\gamma$ が掛かり（式 (4.4.18)）、あるいは指数に $-I$ を足すと $1$ に戻る（式 (4.4.17)）：

$$\langle \mathrm{e}^{-\beta(W-\Delta F)} \rangle =1\qquad\longrightarrow\qquad\langle \mathrm{e}^{-\beta(W-\Delta F)-I} \rangle =1,\qquad\langle \mathrm{e}^{-\beta(W-\Delta F)} \rangle =\gamma.$$

情報理論の授業で習う相互情報量 $I(X;Y)=H(X)-H(X\,|\,Y)$ は、「$Y$ を見たことで $X$ のあいまいさが減った量」である。この章では、同じ量が「測定で取り出せるようになった自由エネルギーを $k_{\mathrm B} T$ で割ったもの」になる。2値対称通信路の $I=\ln2-h_{\mathrm b}(\varepsilon )$ は、誤りのある測定器を使う Szilard エンジンの最大の仕事そのもので（式 (4.4.6)）、入力の分布を変えて $I$ を最大にした通信路容量 $C=\max_pI(X;Y)$（第1部第6章）は、仕切りを入れる位置まで選べるときの1回あたりの仕事の上限（$k_{\mathrm B} T$ 単位）になる（総合問題の (5)）。