当てる D の性質：2次の展開と Cramér–Rao

相対エントロピーから情報と物理を組み立てる　第4部 第6章 §4.6.2　★★★ 経路の Fisher 情報は $\langle \Sigma \rangle /2$。流れ $\mathcal J$ を $\theta$ の推定量とみて Cramér–Rao を当てると $\mathrm{Var}(\mathcal J)/\langle \mathcal J \rangle ^2\ge2/\langle \Sigma \rangle$ が出る

経路の Fisher 情報

第1部第7章で、パラメータだけが違う2つの分布の $D$ は2次の項から始まり、その係数が Fisher 情報であることを見た（第1部第7章）：$D(p_\theta\,\|\,p_{\theta+\delta})=\frac12J(\theta)\delta^2+\mathcal{O}(\delta^3)$。命題 4.6.1 の $D$ は $\theta$ の2次式そのものなので、$\theta=0$ での経路の Fisher 情報は

$$J_{\mathrm{path}}(0)=\frac{\langle \Sigma \rangle }{2}\tag{4.6.8}$$

である。直接スコアの分散を計算しても同じになる。$\partial_\theta\ln P_\theta[x]=\sum_k\nu(x_k)(\Delta x_k-b_\theta\Delta t)/(2 k_{\mathrm B} T/\gamma)$ の分散は$\sum_k\langle \nu^2 \rangle \cdot2( k_{\mathrm B} T/\gamma)\Delta t/(2 k_{\mathrm B} T/\gamma)^2=\frac{\gamma}{2 k_{\mathrm B} T}\langle \nu^2 \rangle t=\langle \Sigma \rangle /2$ である。

熱力学的不確定性関係

流れ $\mathcal J$ を、$P_\theta$ から取り出した標本を使って $\theta$ についての何かを推定する量とみる。$P_\theta$ では流れがそろって $(1+\theta)$ 倍になるので、$\mathcal J$ の平均は$\langle \mathcal J \rangle _\theta=(1+\theta)\langle \mathcal J \rangle$ である。第1部第7章の Cramér–Rao の不等式は、偏りのある推定量にも $\mathrm{Var}_\theta(\mathcal J)\ge(\partial_\theta\langle \mathcal J \rangle _\theta)^2/J(\theta)$ の形で成り立つ。$\theta=0$ でこれを使うと、次の定理を得る。

証明

Cramér–Rao の不等式から $\mathrm{Var}(\mathcal J)\ge\bigl(\partial_\theta\langle \mathcal J \rangle _\theta\bigr)^2\big|_{\theta=0}/J_{\mathrm{path}}(0)=\langle \mathcal J \rangle ^2/(\langle \Sigma \rangle /2)$ である。両辺を $\langle \mathcal J \rangle ^2$ で割れば式 (4.6.9) になる。

証明はこれだけである。Cramér–Rao の不等式を使うための正則条件（$\theta$ について微分と平均の交換ができること）は、$P_\theta$ が式 (4.6.6) のように $\theta$ について滑らかな正規分布の積で書けているので満たされる。式 (4.6.9) の左辺は流れの相対的な揺らぎの2乗、つまり相対誤差の2乗 $\varepsilon_{\mathcal J}^2\coloneqq\mathrm{Var}(\mathcal J)/\langle \mathcal J \rangle ^2$ である。定理は $\varepsilon_{\mathcal J}^2\langle \Sigma \rangle \ge2$ と書くこともできる。相対誤差を半分にするには、エントロピー生成を4倍にしなければならない。

この証明の筋は、第1部第7章の温度計の議論とまったく同じ形をしている。そこでは「温度を少し変えたときに分布がどれだけ変わるか」が Fisher 情報で、それが温度の推定の精度の上限を決めた。ここでは「流れを少し強めたときに経路の分布がどれだけ変わるか」が Fisher 情報で、それがエントロピー生成の半分に等しい。流れの量 $\mathcal J$ は流れの強さ $\theta$ に比例して平均が動くので、$\theta$ を測る温度計のような道具とみなせ、その精度は Fisher 情報で押さえられる。

Markov 跳躍過程の場合

分子モーターや化学反応は、位置を連続に動く粒子より、いくつかの状態の間を飛び移る Markov 跳躍過程で書くほうが自然である。状態を $i=1,2,\dots$、状態 $i$ から $j$ へ移る速さを $k_{ij}$ とし、定常分布を $p_i$ と書く。辺 $i$–$j$ を流れる正味の確率の流れと、往き来の総量を

$$j_{ij}\coloneqq p_ik_{ij}-p_jk_{ji},\qquad b_{ij}\coloneqq p_ik_{ij}+p_jk_{ji}\tag{4.6.10}$$

とおく。局所詳細つり合いを仮定すると、エントロピー生成の速さは

$$\dot\Sigma=\sum_{i<j}j_{ij}\ln\frac{p_ik_{ij}}{p_jk_{ji}}\tag{4.6.11}$$

である（第4部第3章）。流れは、跳躍 $i\to j$ のたびに重み $d_{ij}=-d_{ji}$ を足していく量 $\mathcal J=\sum_{\text{跳躍}}d_{ij}$ で、平均は $\langle \mathcal J \rangle =t\sum_{i<j}d_{ij}j_{ij}$ である。

仮想的な駆動は、速さを $k^\theta_{ij}\coloneqq k_{ij}(1+\theta j_{ij}/b_{ij})$ と変えるものにする（$j_{ji}/b_{ji}=-j_{ij}/b_{ij}$ なので逆向きの速さは減る）。すると辺の流れは$p_ik^\theta_{ij}-p_jk^\theta_{ji}=j_{ij}+\theta j_{ij}(p_ik_{ij}+p_jk_{ji})/b_{ij}=(1+\theta)j_{ij}$ で、すべての辺の流れがそろって $(1+\theta)$ 倍になる。各状態に流れ込む流れの和は0のままなので、$p_i$ は定常のままで、$\langle \mathcal J \rangle _\theta=(1+\theta)\langle \mathcal J \rangle$ である。

跳躍過程の経路の Fisher 情報は、跳躍の回数が Poisson 過程の集まりであることから $J_{\mathrm{path}}(0)=t\sum_{i\neq j}p_ik_{ij}(\partial_\theta\ln k^\theta_{ij})^2$ になる。（速さ $\kappa$ の Poisson 過程で時間 $t$ のあいだに起きた回数の Fisher 情報は $t(\partial_\theta\kappa)^2/\kappa$ で、それを状態 $i$ に滞在した時間で重みをつけて足したもの。）これを計算すると

$$J_{\mathrm{path}}(0)=t\sum_{i<j}\bigl(p_ik_{ij}+p_jk_{ji}\bigr)\frac{j_{ij}^2}{b_{ij}^2}=t\sum_{i<j}\frac{j_{ij}^2}{b_{ij}}\tag{4.6.12}$$

である。Langevin 方程式の場合と違い、これはエントロピー生成の半分に等しくはならず、次の不等式で押さえられる。

証明

$r=x/y$ とおくと、示すべき式は $r>1$ について $\ln r\ge2(r-1)/(r+1)$（$r<1$ は $x,y$ を入れ替えれば同じ）である。$g(r)=\ln r-2(r-1)/(r+1)$ は $g(1)=0$、$g'(r)=1/r-4/(r+1)^2=(r-1)^2/(r(r+1)^2)\ge0$ なので $r\ge1$ で $g\ge0$ である。

補題 4.6.3 を $x=p_ik_{ij}$、$y=p_jk_{ji}$ に当てると $j_{ij}\ln\frac{p_ik_{ij}}{p_jk_{ji}}\ge2j_{ij}^2/b_{ij}$ で、辺について足すと$J_{\mathrm{path}}(0)\le\langle \Sigma \rangle /2$ を得る。Cramér–Rao の不等式の下限は Fisher 情報が小さいほど大きくなるので、Langevin 方程式と同じ式 (4.6.9) がそのまま出る：

$$\frac{\mathrm{Var}(\mathcal J)}{\langle \mathcal J \rangle ^2}\ \ge\ \frac{1}{J_{\mathrm{path}}(0)}\ \ge\ \frac{2}{\langle \Sigma \rangle }.\tag{4.6.13}$$

跳躍過程では、不等号が2段になる。1段目は Cramér–Rao の不等号で、流れ $\mathcal J$ が仮想的な駆動についての情報をどれだけ取りこぼしているかを表す。2段目は対数平均の不等号で、各辺の往きと帰りの比 $p_ik_{ij}/(p_jk_{ji})$ が1から離れるほど（各辺が平衡から遠いほど）大きく開く。