当てる $D$ の性質：非負性・規格化・データ処理

相対エントロピーから情報と物理を組み立てる　第4部 第3章 §4.3.2　★★★ $\langle \Sigma \rangle =D(P\,\|\,\tilde P)\ge0$ が第二法則、$\langle \mathrm{e}^{-\Sigma} \rangle =1$ が積分型のゆらぎの定理、経路を縮める操作での単調性が下からの評価

前の節で、エントロピー生成を2つの経路の分布の $D$ として定義した。この節では、$D$ の性質のうちこの章で使う3つを、経路の分布に当てはめた形で書く。

非負性

証明

経路の集合は有限集合なので、有限集合の上の $D$ の非負性（Gibbs の不等式。第1部第3章）をそのまま当てはめればよい。

等号の条件「すべての経路で順回しと逆回しの確率が等しい」は、経路の記録から順回しか逆回しかを判定する手がかりが無いということで、これが可逆の情報の側からの定義になる。逆に、$\langle \Sigma \rangle >0$ なら、十分長い経路の記録を見れば向きを当てることができる。第二法則は「逆回しの過程の経路は、順回しの過程の経路より起こりにくい（平均の意味で）」という主張になる。

規格化：積分型のゆらぎの定理

$\mathrm{e}^{-\Sigma[\Gamma]}=\tilde P[\tilde\Gamma]/P[\Gamma]$ なので、$P$ で平均すると $\tilde P$ の和が残る：

$$\langle \mathrm{e}^{-\Sigma} \rangle =\sum_{\Gamma:\,P[\Gamma]>0}\tilde P[\tilde\Gamma]=1.\tag{4.3.9}$$

最後の等号は、$P$ と $\tilde P$ が正になる経路の集合が一致するときに成り立つ（一致しなければ右辺は 1 以下）。これを積分型のゆらぎの定理と呼ぶ。式 (4.3.9) は $\tilde P$ が確率分布であること、すなわち規格化そのものである。前の章の Jarzynski 等式は、次の節で見るように、初めの分布を平衡にとったときのこの式である（第4部第2章）。

$\mathrm{e}^{-x}$ が下に凸なので、Jensen の不等式から $1=\langle \mathrm{e}^{-\Sigma} \rangle \ge\mathrm{e}^{-\langle \Sigma \rangle }$、すなわち $\langle \Sigma \rangle \ge0$ がもう一度出る。式 (4.3.9) は平均だけでなく分布の裾についても述べる。Markov の不等式を $\mathrm{e}^{-\Sigma}$ に当てはめると、どんな $a>0$ についても

$$\Pr(\Sigma\le-a)=\Pr\bigl(\mathrm{e}^{-\Sigma}\ge\mathrm{e}^{a}\bigr)\le\mathrm{e}^{-a}\langle \mathrm{e}^{-\Sigma} \rangle =\mathrm{e}^{-a}\tag{4.3.10}$$

で、エントロピーが $a$ だけ減る経路の確率は $\mathrm{e}^{-a}$ 以下に抑えられる。1本の経路で $\Sigma<0$ になることは禁じられていないが、大きく負になる経路は指数的にまれである。マクロな系では $a$ が $10^{20}$ の桁になるので、これが観測されることはない（4.3.6 節の例題）。

前の章の Crooks の関係は、式 (4.3.9) より細かく、$\Sigma$ の分布そのものについて述べる。逆回しの過程で同じように定めた $\tilde\Sigma$ が、逆回しの経路について $\tilde\Sigma[\tilde\Gamma]=-\Sigma[\Gamma]$ を満たすとき（次の節の平衡から平衡への操作がそうである）、

$$\frac{\Pr_P(\Sigma=s)}{\Pr_{\tilde P}(\tilde\Sigma=-s)}=\mathrm{e}^{s}\tag{4.3.11}$$

が成り立つ。$\Sigma=s$ となる経路をすべて集めると、それぞれで $P=\mathrm{e}^{s}\tilde P$ なので、和をとっても比は $\mathrm{e}^s$ のままだからである。

データ処理不等式

経路 $\Gamma$ そのものでなく、経路から計算した量 $Y=f(\Gamma)$（ある時刻の状態、粗く見た状態の列など）だけを見るとする。同じ関数 $f$ で $P$ と $\tilde P$ を移した分布を $P^Y$、$\tilde P^Y$ と書くと、データ処理不等式（第1部第4章）から

$$D(P^Y\,\|\,\tilde P^Y)\le D(P\,\|\,\tilde P)=\langle \Sigma \rangle\tag{4.3.12}$$

が出る。見えている量だけで計算した $D$ は、エントロピー生成の下からの評価になる。この不等式の使い方は 4.3.4 節で扱う。

図 4.3.1 は、同じ $\beta\varepsilon$ の変化を3回に分けて行ったときの $\Sigma$ の分布である。半分以上の経路で $\Sigma<0$ になっているが、平均は正で、$\langle \mathrm{e}^{-\Sigma} \rangle =1$ が成り立つ。