比べる2つの分布：測定の後の分布と測定の前の平衡分布

相対エントロピーから情報と物理を組み立てる　第4部 第4章 §4.4.1　★★★ 測定の結果 $y$ で更新した分布と平衡分布の $D$ を $y$ で平均すると相互情報量になる。Gibbs の変分原理から、取り出せる仕事の上限は $k_{\mathrm B} T\,I(X;Y)$

1929 年に L. Szilard は、分子1個だけを入れた箱の模型で、Maxwell の悪魔の問題を具体的な計算に落とした（L. Szilard (1929), Z. Phys. 53, 840）。箱の真ん中に仕切りを入れ、分子が左右どちらにいるかを測り、いる側の壁を押させながら仕切りをゆっくり動かすと、ただ1つの熱浴から $k_{\mathrm B} T\ln2$ の仕事を取り出すことができる。これを繰り返せば、熱力学の第二法則（Kelvin の原理）に反するように見える。Szilard は、測ること自体に代償があるはずだと考えた。この問いは、測定・記録・消去のどこに代償があるかをめぐって、Brillouin、Landauer、Bennett へと引き継がれた。

この章は、測定とフィードバック（測った結果で操作を変えること）を含む過程の第二法則を、この巻の背骨である相対エントロピー $D$ で書く。比べる2つの分布は、測定の後で知っている分布 $p(x\,|\,y)$ と、測定の前の平衡分布 $p_{\mathrm{eq}}(x)$ である（4.4.1 節）。その $D$ を測定の結果で平均したものが相互情報量 $I(X;Y)$ になり、Gibbs の変分原理（第2部第2章）を当てると、取り出せる仕事の上限は $k_{\mathrm B} T\,I(X;Y)$ になる。4.4.2 節では、測定に誤りがある Szilard エンジンで、仕切りを事後確率の位置まで動かすとちょうどこの上限に達し、それ以外の操作では $D$ の分だけ損をすることを計算する。

4.4.3 節で、この結果を1本1本の経路の言葉に上げる。測定を含む経路の確率と、測定の結果ごとに操作を逆回しにした経路の確率を比べると、その比の対数は $\beta(W-\Delta F)+I(x;y)$ になる。これは前の章（第4部第2章・第4部第3章）の「経路の確率と逆回しの経路の確率の比が仕事を決める」という関係に、測定で得た情報の項を1つ足したものである。ここから 4.4.4 節で、沙川–上田の2つの結果、測定つきの第二法則 $\langle W \rangle \ge\Delta F- k_{\mathrm B} T\,I(X;Y)$ と一般化 Jarzynski 等式 $\langle \mathrm{e}^{-\beta(W-\Delta F)-I} \rangle =1$ を導く（T. Sagawa and M. Ueda (2010), Phys. Rev. Lett. 104, 090602）。4.4.5 節では、等号が成り立つ条件と、有限の速さで操作したときの損失を調べ、最後に悪魔の帳尻、つまり測定で得た情報の代償をどこで払うかの問いを、次の章 第4部第5章 へ渡す形で整理する。

エントロピーと相互情報量は自然対数で書き、単位は nat とする。仕事 $W$ は系がされる仕事を正とし、取り出す仕事は $-W$ である（記法の正本どおり）。この章では、測定の結果ごとの値 $I(x;y)\coloneqq\ln\frac{p(y\,|\,x)}{p(y)}$ を相互情報量の確率変数版と呼び、その平均が $I(X;Y)$ である。定義に記号 $\coloneqq$ を使う。

1分子の Szilard エンジン

体積 $V$ の箱に分子を1個だけ入れ、温度 $T$ の熱浴に接しておく。分子は壁と熱浴の分子に当たって、箱の中を一様に動き回る。この「1分子の気体」の操作は、図 4.4.1 の4段からなる。

1. (a) 箱の真ん中に、厚さの無い仕切りをすばやく入れる。仕切りを入れるときに分子に触れないので、仕事は要らない。分子は確率 $1/2$ で左、$1/2$ で右にいる。
2. (b) 分子がどちらにいるかを測る。結果を $y\in\{\mathrm L,\mathrm R\}$ と書く。
3. (c) 分子がいる側の仕切りを、熱浴に接したままゆっくり反対側の壁まで動かす。分子は仕切りを押し、仕切りにつないだおもりを持ち上げる。
4. (d) 仕切りが壁に着いたら取り去る。分子は箱全体を動き回る初めの状態に戻る。

(c) は1分子の気体の等温膨張である。1分子の理想気体の状態方程式 $PV= k_{\mathrm B} T$ から、体積が $V/2$ から $V$ まで広がる間に気体がする仕事は

$$-W=\int_{V/2}^{V}\frac{ k_{\mathrm B} T}{V'}\,\mathrm{d} V'= k_{\mathrm B} T\ln2\tag{4.4.1}$$

である。1回の操作で系は元に戻り、自由エネルギーの差は $\Delta F=0$ なので、熱浴から $k_{\mathrm B} T\ln2$ の熱を受け取ってそれをそのまま仕事に変えたことになる。これは「ただ1つの熱浴から熱を受け取り、それをすべて仕事に変えて元に戻る過程は無い」という Kelvin の原理に反するように見える。(b) の測定が無ければ、(c) でどちらの壁へ仕切りを動かせばよいかが分からないので、仕事を取り出すことはできない。したがって、取り出した $k_{\mathrm B} T\ln2$ は測定で得た1ビットの情報と引き換えである。この節では、この対応を相対エントロピーで定量的に書く。

測定で分布を更新する

一般の形で書く。系の状態を $x$、測定の前の分布を $p(x)$ とする。測定器は、状態が $x$ のとき確率 $p(y\,|\,x)$ で結果 $y$ を出す。この $p(y\,|\,x)$ は第1部の通信路 $W(y\,|\,x)$ と同じもので、測定器は「系の状態を入力、結果を出力とする通信路」である。結果 $y$ を得た後に知っている分布は、Bayes の定理による事後分布

$$p(x\,|\,y)=\frac{p(y\,|\,x)\,p(x)}{p(y)},\qquad p(y)=\sum_xp(y\,|\,x)\,p(x)\tag{4.4.2}$$

である。測定は系に触れず、系のエネルギーも変えないとする。このとき系の状態そのものは変わらず、変わるのは系についての知識だけである。この知識の変化を、測定の前の分布 $p_X$ との $D$ で測る。

証明

左辺を書き下すと

$$\sum_yp(y)\sum_xp(x\,|\,y)\ln\frac{p(x\,|\,y)}{p(x)}=\sum_{x,y}p(x,y)\ln\frac{p(x,y)}{p(x)p(y)}=D(p_{XY}\,\|\,p_Xp_Y)$$

で、最後の式が相互情報量の定義（第1部第3章）である。

式 (4.4.3) の各項 $D(p_{X|y}\,\|\,p_X)$ は、結果 $y$ を見たことで分布が測定の前からどれだけ離れたかを測る。離れ方は $y$ によって違い、平均すると $I(X;Y)$ になる。$I(X;Y)$ の値は測定器の通信路 $p(y\,|\,x)$ と測定の前の分布 $p(x)$ だけで決まり、測った後にどう操作するかにはよらない。

取り出せる仕事の上限

測定の前の分布が、今の Hamiltonian $E(x)$ の Gibbs 分布 $p_{\mathrm{eq}}(x)=\mathrm{e}^{-\beta E(x)}/Z$ だとする。Gibbs の変分原理（第2部第2章）は、任意の分布 $p$ の非平衡の自由エネルギー $F[p]=\langle E \rangle _p- k_{\mathrm B} T\,H(p)$ について

$$F[p]-F_{\mathrm{eq}}= k_{\mathrm B} T\,D(p\,\|\,p_{\mathrm{eq}})\tag{4.4.4}$$

が成り立ち、温度 $T$ の熱浴に接したまま Hamiltonian を変えて元に戻す操作で、状態 $p$ から取り出せる仕事は $k_{\mathrm B} T\,D(p\,\|\,p_{\mathrm{eq}})$ を超えないと述べる。測定の結果 $y$ を得た後の分布は $p_{X|y}$ なので、結果 $y$ に合わせて操作を選べば、取り出せる仕事は $k_{\mathrm B} T\,D(p_{X|y}\,\|\,p_{\mathrm{eq}})$ までである。結果で平均し、命題 4.4.1 を使うと、$p_X=p_{\mathrm{eq}}$ なので

$$-\langle W \rangle \le k_{\mathrm B} T\sum_yp(y)\,D(p_{X|y}\,\|\,p_{\mathrm{eq}})= k_{\mathrm B} T\,I(X;Y)\tag{4.4.5}$$

を得る。測定が無ければ $I=0$ で、式 (4.4.5) は「平衡にある系を1つの熱浴に接したまま操作して元に戻しても仕事は取り出せない」という Kelvin の原理に戻る。測定があると、上限が $k_{\mathrm B} T\,I(X;Y)$ だけ上がる。

Szilard エンジンにこれを当てはめる。仕切りを入れた後の分子の位置を、左右の2値 $x\in\{\mathrm L,\mathrm R\}$ に粗くまとめる（左右それぞれの中では分子は一様に分布し、その部分は測定でも操作でも変わらない）。測定に誤りが無ければ $p(x\,|\,y)$ は $y$ の側に確率 $1$ で、$D(p_{X|y}\,\|\,p_X)=\ln2$、$I(X;Y)=H(X)=\ln2$ である。式 (4.4.1) の $k_{\mathrm B} T\ln2$ はこの上限にちょうど達している。