比べる2つの分布：記憶の分布と記憶の平衡分布

相対エントロピーから情報と物理を組み立てる　第4部 第5章 §4.5.1　★★★ 記憶の論理状態の中で局所平衡にあれば、非平衡の自由エネルギーは $F[p]=\sum_mp_mF_m- k_{\mathrm B} T\,H(M)$ で、その余りは $k_{\mathrm B} T\,D(p_M\,\|\,\pi_M)$。論理状態は「自由エネルギー $F_m$ を持つ準位」として扱える

1ビットの記憶を、中身が0でも1でも0に戻す操作を消去と呼ぶ。Landauer は、温度 $T$ の環境の中で1ビットを消去すると、環境へ少なくとも $k_{\mathrm B} T\ln2$ の熱が出ると主張した（R. Landauer (1961), IBM J. Res. Dev. 5, 183）。この主張がないと、前の章の Szilard エンジンの帳尻はとれない。エンジンは測定で得た1ビットを使って熱浴から $k_{\mathrm B} T\ln2$ の仕事を取り出すが、1周を閉じるには測定の記録を消さなければならず、その消去に同じ $k_{\mathrm B} T\ln2$ が要るので、差し引きで第二法則は破れない。

ただし「1ビットにつき $k_{\mathrm B} T\ln2$」という言い方は、記憶の0と1が対称で、消す前の中身が五分五分で、熱浴が十分大きいという、3つの前提の上に立っている。どれか1つを外すと、消去に要る仕事は $k_{\mathrm B} T\ln2$ より小さくも大きくもなる。たとえば0と1の状態の広さが違う記憶では、消去の仕事を $k_{\mathrm B} T\ln2$ より小さくすることができる。そのとき Szilard エンジンの帳尻は、消去でなく測定の側にコストが移ることで保たれる。この章は、前提を外したときに何が残るのかを、この巻の背骨である相対エントロピー $D$ で正確に書く。

比べる分布は2組ある。第1節では、記憶の論理状態の分布 $p_M$ と、記憶をそのまま放っておいたときの平衡分布 $\pi_M$ を比べる。記憶の非平衡の自由エネルギーの余りが $k_{\mathrm B} T\,D(p_M\,\|\,\pi_M)$ になることを確かめ、記憶の論理状態がそれぞれ固有の自由エネルギー $F_m$ を持つ系として扱えることを示す。第2節では、熱浴の操作の後の分布と、もとの Gibbs 分布を比べる。熱浴へ出る熱が、記憶のエントロピーの減り・記憶と熱浴の相互情報量・熱浴の $D$ の和に等しいという等式（Reeb–Wolf の等式）を示し、Landauer 原理をその3項のうち2項を捨てた不等式として読む。出てくるものは3つある。第3節は仕事で書いた Landauer 原理の一般形で、偏った記憶・不完全な消去・非対称な記憶をすべて1つの式で扱う。第4節は測定と消去のコストの配分で、和だけが $k_{\mathrm B} T\times(\text{相互情報量})$ で下から押さえられ、配分は記憶の作りで決まることを示す。第5節は Maxwell の悪魔の1周の帳尻と、論理ゲートの消去のコストである。最後に、授業で習う Clausius の不等式と「1ビット $k_{\mathrm B} T\ln2$」の導き方と並べる。

この章でもエントロピーは自然対数で単位は nat とし、ビットに直すときは $\ln2$ で割る。$W$ は系がされる仕事、$Q$ は系が受け取る熱で、熱浴が受け取る熱は $Q_{\mathrm R}$ と添字を付けて書く。記憶の論理状態を表す確率変数を $M$（値は $m$）、測られる系の確率変数を $X$ とする。この巻の約束どおり $p,\pi$ は確率分布に取っておき、定義には $\coloneqq$ を使う。

記憶の模型

記憶を物理の系として書く。もっとも素朴な記憶は、2つの谷を持つポテンシャル $U_{\mathrm M}(y)$ の中の1個の粒子である。$y$ は粒子の位置で、左の谷にいれば0、右の谷にいれば1と読む。一般に、記憶の微視的な状態 $y$ の空間を互いに重ならない区画 $\Gamma_m$ に分け、$y\in\Gamma_m$ のとき論理状態を $m$ と読む。論理状態は微視的な状態の関数 $M=g(Y)$ である。

谷と谷の間の山が $k_{\mathrm B} T$ に比べて十分高ければ、粒子が山を越える時間は谷の中で落ち着く時間よりずっと長い。そのため記憶を放っておく時間がその間にあれば、どちらの谷にいるかの確率 $p_m$ は保たれたまま、各谷の中の分布だけが谷の中の平衡分布になる。これを局所平衡と呼び、微視的な分布は

$$p(y)=\sum_mp_m\,\pi_m(y),\qquad \pi_m(y)\coloneqq\frac{\mathrm{e}^{-\beta U_{\mathrm M}(y)}\,\mathbf 1_{\Gamma_m}(y)}{Z_m},\qquad Z_m\coloneqq\int_{\Gamma_m}\mathrm{e}^{-\beta U_{\mathrm M}(y)}\,\mathrm{d} y\tag{4.5.1}$$

の形をとる。$\mathbf 1_{\Gamma_m}$ は区画 $\Gamma_m$ で1、外で0の関数で、$\beta=1/ k_{\mathrm B} T$ である。記憶が記憶として働くのは、この局所平衡の状態が長く保たれるからで、山が低ければ中身は熱の揺らぎで勝手に入れ替わってしまう。論理状態 $m$ の局所自由エネルギーを $F_m\coloneqq- k_{\mathrm B} T\ln Z_m$ と定める。

2つの分布の $D$ と記憶の自由エネルギー

比べる2つの分布は、記憶の論理状態の分布 $p_M=(p_m)$ と、記憶をずっと放っておいたときの平衡分布である。後者は全体の Boltzmann 分布 $\pi(y)=\mathrm{e}^{-\beta U_{\mathrm M}(y)}/Z$（$Z=\sum_mZ_m$）で、論理状態の分布にすると

$$\pi_M(m)=\frac{Z_m}{Z}=\frac{\mathrm{e}^{-\beta F_m}}{\sum_{m'}\mathrm{e}^{-\beta F_{m'}}}\tag{4.5.2}$$

になる。論理状態 $m$ の重みが、あたかもエネルギー $F_m$ の準位の Boltzmann 因子のように書ける。

証明

区画 $\Gamma_m$ の上では $p(y)=p_m\pi_m(y)$ なので $\ln p(y)=\ln p_m+\ln\pi_m(y)$ で、微視的な分布のエントロピーは$H(p)=H(M)+\sum_mp_m\,H(\pi_m)$ と分かれる（第1部第3章の連鎖律 $H(Y)=H(M)+H(Y\,|\,M)$ で、$M$ が $Y$ の関数である場合）。$\ln\pi_m=-\beta U_{\mathrm M}-\ln Z_m$ から $H(\pi_m)=\beta\langle U_{\mathrm M} \rangle _{\pi_m}+\ln Z_m$ なので、各区画について $\langle U_{\mathrm M} \rangle _{\pi_m}- k_{\mathrm B} T\,H(\pi_m)=- k_{\mathrm B} T\ln Z_m=F_m$ である。これを $p_m$ で平均すれば式 (4.5.3) を得る。式 (4.5.4) の1つ目の等号は第4部第1章の式で、2つ目は $D$ の連鎖律 $D(p\,\|\,\pi)=D(p_M\,\|\,\pi_M)+\sum_mp_m\,D(\pi_m\,\|\,\pi(\cdot\,|\,m))$ で、区画の中の条件付き分布が $p$ と $\pi$ で同じ（どちらも $\pi_m$）なので第2項が0になることから従う。

式 (4.5.3) は、記憶の論理状態を「自由エネルギー $F_m$ を持つ準位」とみなしてよいことを言っている。微視的な自由度の寄与はすべて $F_m$ に含まれ、論理状態の分布 $p_M$ についての式だけが残る。$F_m$ はエネルギーとエントロピーの両方を含む。2つの谷の深さが同じでも、谷の幅が違えば $F_m$ は違う。

対称な記憶は、すべての $m$ で $F_m$ が等しい記憶である。このとき $\pi_M$ は一様分布で、$D(p_M\,\|\,\pi_M)=\ln\lvert \mathcal M\rvert -H(M)$（$\lvert \mathcal M\rvert$ は論理状態の数）になる。記憶の自由エネルギーの余りは、中身のエントロピーが最大値からどれだけ足りないかだけで決まる。非対称な記憶では $F_m$ が状態ごとに違い、余りは $p_M$ と、$F_m$ で重みを付けた $\pi_M$ との $D$ で測られる。

消去を次のように定める。消去は、記憶の設定（ポテンシャルの形）を時間とともに動かす1つの決まった手順で、その手順は記憶の中身を見ずに選ばれる。手順の終わりには、どんな初めの分布から出発しても、論理状態は標準の状態 $m=0$ にあり、谷の中は局所平衡にある。中身を見ずに同じ手順を当てることが要点で、中身を知っていれば、1なら0へ移すだけ（仕事0で谷を入れ替えられる）で済む。その場合の「知っている」ことのコストは第4節で数える。