誤りのある測定と最適なフィードバック

相対エントロピーから情報と物理を組み立てる　第4部 第4章 §4.4.2　★★★ 仕切りを事後確率の位置まで動かすと平均の仕事が $k_{\mathrm B} T\,I(X;Y)$ に達し、それ以外の位置では $k_{\mathrm B} T\sum_yp(y)D(p_{X|y}\,\|\,q_y)$ だけ損をする

誤りのある測定

測定器が確率 $\varepsilon$ で左右を取り違えるとする。測定器は反転確率 $\varepsilon$ の2値対称通信路で、

$$p(y\,|\,x)=\begin{cases}1-\varepsilon &(y=x)\\ \varepsilon &(y\ne x)\end{cases}$$

である。分子は確率 $1/2$ ずつ左右にいるので、$p(y)=1/2$、事後確率は $p(x\,|\,y)=p(y\,|\,x)$ で、

$$I(X;Y)=\ln2-h_{\mathrm b}(\varepsilon )\tag{4.4.6}$$

である（第1部第3章 の例題と同じ値）。$\varepsilon =0$ で $\ln2$、$\varepsilon =1/2$ で $0$ になる。

誤りのある測定で図 4.4.1 の (c) をそのまま行うと、確率 $\varepsilon$ で分子のいない側を広げてしまう。分子のいる側の体積は $V/2$ から $0$ へ押しつぶされ、1分子の気体を体積 $0$ まで圧縮する仕事は無限大になる。したがって、誤りがあるときは仕切りを壁まで動かしてはならない。

仕切りを途中で止める

結果が $y=\mathrm L$ のとき、仕切りを左の壁から測って体積の割合 $f$ の位置まで（$1/2<f<1$）ゆっくり動かして止め、それから仕切りを取り去る。$y=\mathrm R$ のときは左右を入れ替えて同じことをする。分子が左にいれば、分子のいる側の体積は $V/2$ から $fV$ に広がり、右にいれば $V/2$ から $(1-f)V$ に縮む。どちらも等温の準静的な操作なので、1回ごとに取り出す仕事は

$$-\beta W=\ln\frac{v_x(y)}{1/2},\qquad v_x(y)=\text{結果 }{y}\text{ のときの、分子のいる側の終わりの体積の割合}\tag{4.4.7}$$

である。仕切りを取り去るときに仕事は要らない。左右を入れ替えた対称性から、平均は

$$-\beta\langle W \rangle =(1-\varepsilon )\ln(2f)+\varepsilon \ln\bigl(2(1-f)\bigr)=\ln2+(1-\varepsilon )\ln f+\varepsilon \ln(1-f)\tag{4.4.8}$$

である。$f$ で微分して $0$ とおくと $(1-\varepsilon )/f=\varepsilon /(1-f)$、すなわち $f=1-\varepsilon$ で最大になり、その値は$\ln2+(1-\varepsilon )\ln(1-\varepsilon )+\varepsilon \ln\varepsilon =\ln2-h_{\mathrm b}(\varepsilon )$ である。式 (4.4.6) と比べると、仕切りを事後確率 $p(\mathrm L\,|\,\mathrm L)=1-\varepsilon$ の位置まで動かしたとき、取り出す仕事はちょうど $k_{\mathrm B} T\,I(X;Y)$ になる。

損失は事後分布との $D$

一般の場合に書く。結果 $y$ ごとに、終わりの体積の割合を分布 $q_y(x)\coloneqq v_x(y)$ とみなす（$\sum_xq_y(x)=1$）。測定の前の分布が $p(x)=v_x$（初めの体積の割合）のとき、式 (4.4.7) の $1/2$ を $p(x)$ に替えた $-\beta W=\ln\bigl(q_y(x)/p(x)\bigr)$ を平均すると

$$\begin{aligned} -\beta\langle W \rangle &=\sum_{x,y}p(x,y)\ln\frac{q_y(x)}{p(x)} =\sum_{x,y}p(x,y)\ln\frac{p(x\,|\,y)}{p(x)}-\sum_yp(y)\sum_xp(x\,|\,y)\ln\frac{p(x\,|\,y)}{q_y(x)}\\ &=I(X;Y)-\sum_yp(y)\,D(p_{X|y}\,\|\,q_y) \end{aligned}\tag{4.4.9}$$

になる。第2項は非負で、$q_y=p_{X|y}$ のときに限って $0$ になる。

事後分布の位置まで仕切りを動かすと、操作の終わりに分子が左にいる確率 $p(\mathrm L\,|\,y)$ と、左の体積の割合 $q_y(\mathrm L)$ が等しくなる。これは、仕切りを取り去る直前の分子の分布が、箱全体の一様分布をその位置の仕切りで分けたもの（その時点の平衡分布）に一致する、という意味である。このため仕切りを取り去っても分布は変わらず、何も失われない。$q_y\ne p_{X|y}$ のときは、仕切りを取り去る瞬間に分布が平衡分布へ不可逆に緩和し、そのとき失われる自由エネルギーが $k_{\mathrm B} T\,D(p_{X|y}\,\|\,q_y)$ である（式 (4.4.4) を仕切りのある Hamiltonian に当てた形）。