当てる D の性質：対数比の指数平均は 1

相対エントロピーから情報と物理を組み立てる　第4部 第2章 §4.2.2　★★★ $\Sigma=\ln(P/\tilde P)$ の指数平均は $\tilde P$ の規格化だけから 1 になる。Jensen の不等式を当てた $\langle \Sigma \rangle =D(P\,\|\,\tilde P)\ge0$ より強い等式

積分ゆらぎの定理

前向きの経路の確率と逆回しの経路の確率の対数比を

$$\Sigma[\Gamma]\coloneqq\ln\frac{P[\Gamma]}{\tilde P[\tilde\Gamma]}=\ln\frac{p_0(x_0)}{\tilde p_0(x_N)}-\beta Q[\Gamma]\tag{4.2.10}$$

と定める。2つ目の等号は定理 4.2.2 である。$\Sigma$ は経路ごとに値が決まる確率変数で、その $P$ による平均は

$$\langle \Sigma \rangle _P=\sum_\Gamma P[\Gamma]\ln\frac{P[\Gamma]}{\tilde P[\tilde\Gamma]}=D(P\,\|\,\tilde P)$$

となり、経路の空間の上の2つの分布の相対エントロピーそのものである（経路を逆にたどる写像 $\Gamma\mapsto\tilde\Gamma$ は経路の集合の上の全単射なので、$\tilde P$ を $\Gamma$ の分布とみなしてよい）。相対エントロピーの非負性（第1部第3章）は、$\ln$ が上に凸であることを $P$ による平均に当てはめて示した。そこで使った等式を、ここでは不等式にする前の形で取り出す。

証明

$P[\Gamma]>0$ の経路だけで和をとると $\langle \mathrm{e}^{-\Sigma} \rangle _P=\sum_{P[\Gamma]>0}P[\Gamma]\,\tilde P[\tilde\Gamma]/P[\Gamma]=\sum_{P[\Gamma]>0}\tilde P[\tilde\Gamma]$ である。仮定から $\tilde P[\tilde\Gamma]>0$ の経路はすべてこの和に入るので、和は $\tilde P$ の全確率 $1$ に等しい。

この等式から3つのことが直ちに出る。第一に、$\mathrm{e}^{-s}$ が下に凸なので Jensen の不等式から $\mathrm{e}^{-\langle \Sigma \rangle }\le\langle \mathrm{e}^{-\Sigma} \rangle =1$、すなわち

$$\langle \Sigma \rangle _P=D(P\,\|\,\tilde P)\ge0\tag{4.2.12}$$

で、これは相対エントロピーの非負性である。第二に、$\Sigma$ は負の値もとりうる。平均が $1$ の正の量 $\mathrm{e}^{-\Sigma}$ が $1$ より大きい値（$\Sigma<0$）を一度もとらないなら、平均が $1$ になるには $\mathrm{e}^{-\Sigma}=1$ でなければならない。つまり $\Sigma\equiv0$ でない限り、$\Sigma<0$ となる経路は必ず正の確率で起こる。第三に、負の側の大きなずれは指数的に稀である。Markov の不等式 $\Pr(Y\ge c)\le\langle Y \rangle /c$ を $Y=\mathrm{e}^{-\Sigma}$、$c=\mathrm{e}^a$ に当てると

$$\Pr(\Sigma\le-a)\le\mathrm{e}^{-a}\qquad(a>0)\tag{4.2.13}$$

を得る。

詳細ゆらぎの定理

逆回しの操作の側でも、前向きを参照にとって $\tilde\Sigma[\tilde\Gamma]\coloneqq\ln(\tilde P[\tilde\Gamma]/P[\Gamma])$ を定める。逆回しのさらに逆回しは前向きなので、$\tilde\Sigma[\tilde\Gamma]=-\Sigma[\Gamma]$ である。$\Sigma$ の値の分布を $P(\Sigma=s)$、$\tilde\Sigma$ の値の分布を $\tilde P(\tilde\Sigma=s)$ と書く。

証明

$\Sigma[\Gamma]=s$ となる経路の集合を $A_s$ とすると、$\tilde\Sigma[\tilde\Gamma]=-s$ となる逆回しの経路の集合は $\{\tilde\Gamma:\Gamma\in A_s\}$ である。$A_s$ の各経路で $P[\Gamma]=\mathrm{e}^{s}\tilde P[\tilde\Gamma]$ なので、和をとると $P(\Sigma=s)=\sum_{A_s}P[\Gamma]=\mathrm{e}^{s}\sum_{A_s}\tilde P[\tilde\Gamma]=\mathrm{e}^s\,\tilde P(\tilde\Sigma=-s)$ である。

式 (4.2.14) の分母を払って $s$ について和をとると、式 (4.2.11) に戻る。詳細ゆらぎの定理は、積分ゆらぎの定理を $\Sigma$ の値ごとに分けたものである。

初めの分布の2つの選び方

$\Sigma$ の意味は、逆回しの初めの分布 $\tilde p_0$ の選び方で決まる。この章で使う選び方は2つある。

(a) 逆回しを前向きの終わりの分布から始める。 $\tilde p_0=p_N$（前向きの $N$ 歩後の分布）とすると、式 (4.2.10) は

$$\Sigma[\Gamma]=\bigl[-\ln p_N(x_N)\bigr]-\bigl[-\ln p_0(x_0)\bigr]+\bigl(-\beta Q[\Gamma]\bigr)\tag{4.2.15}$$

となる。$-\ln p_n(x_n)$ は、その時刻に系が実際にいる状態の驚き（第1部第2章）で、$p_n$ で平均すると系の Shannon エントロピー $H(p_n)$ になる。したがって $\Sigma$ は、1本の経路について「系のエントロピーの変化」と「熱浴のエントロピーの変化」を足したもの、すなわち全エントロピー生成である（Seifert（2005）、Phys. Rev. Lett. 95、040602）。式 (4.2.11) はどんな初めの分布・どんなプロトコルでも成り立つ。

(b) 両方を平衡分布から始める。 $p_0=p^{\mathrm{eq}}_{\lambda_0}$、$\tilde p_0=p^{\mathrm{eq}}_{\lambda_N}$ とすると、$\ln p^{\mathrm{eq}}_\lambda(x)=-\beta[E_x(\lambda)-F(\lambda)]$ と第一法則 (4.2.3) から

$$\Sigma[\Gamma]=-\beta\bigl[E_{x_0}(\lambda_0)-F(\lambda_0)\bigr]+\beta\bigl[E_{x_N}(\lambda_N)-F(\lambda_N)\bigr]-\beta Q[\Gamma]=\beta\bigl(W[\Gamma]-\Delta F\bigr)\tag{4.2.16}$$

になる。$\Delta F\coloneqq F(\lambda_N)-F(\lambda_0)$ である。$W-\Delta F$ は、可逆な操作で済む仕事 $\Delta F$ を超えて余分にした仕事で、散逸仕事と呼ぶ。前向きの終わりの分布は一般に $p^{\mathrm{eq}}_{\lambda_N}$ ではないが、(b) の $\tilde p_0$ は終わりの分布と無関係に決めた参照の分布なので、それで構わない。(b) の選び方が次の2節の Crooks の定理と Jarzynski 等式を与える。

平均 $\langle \Sigma \rangle =D(P\,\|\,\tilde P)$ を「エントロピー生成」の定義として採り、それが系と熱浴の何の情報を測っているか、粗視化でどう減るかを調べることは、次の章 第4部第3章 の主題である。この章は、平均だけでなく分布全体について成り立つ等式 (4.2.11)・(4.2.14) から何が出るかに集中する。