相対エントロピーから情報と物理を組み立てる 第4部 第6章 §4.6.4 ★★★ 分布を p 0 p_0 p 0 から p τ p_\tau p τ へ移すには、移した距離の2乗に比例するエントロピー生成が要る。距離の測り方(全変動・Wasserstein・Fisher)に応じて3つの形がある
前の節は定常状態で流れを正確に作る代価だった。この節では、分布そのものを動かす過程を考え、決まった時間 τ \tau τ で分布 p 0 p_0 p 0 を p τ p_\tau p τ へ移すにはどれだけのエントロピー生成が要るか、あるいは決まったエントロピー生成のもとでどれだけ速く移せるかを調べる。量子力学には、状態が直交する状態に移るまでの時間がエネルギーの揺らぎで押さえられる、Mandelstam–Tamm の速度限界がある(L. Mandelstam and I. Tamm (1945), J. Phys. USSR 9, 249)。その古典の確率過程の版がこの節の主題である。
跳躍過程の速度限界
定理 4.6.4(跳躍過程の速度限界 ★★★)
Markov 跳躍過程の分布 p ( t ) p(t) p ( t ) が時刻 0 0 0 から τ \tau τ までに p 0 p_0 p 0 から p τ p_\tau p τ へ移るとき(速さ k i j k_{ij} k ij は時間に依存してよい)、
τ ≥ ∥ p τ − p 0 ∥ 1 2 2 ⟨ Σ ⟩ ⟨ A ⟩ τ , ∥ p τ − p 0 ∥ 1 ≔ ∑ i ∣ p i ( τ ) − p i ( 0 ) ∣ , ⟨ A ⟩ τ ≔ 1 τ ∫ 0 τ ∑ i ≠ j p i ( t ) k i j ( t ) d t (4.6.16) \tau\ \ge\ \frac{\lVert p_\tau-p_0\rVert _1^2}{2\langle \Sigma \rangle \,\langle \mathcal A \rangle _\tau},\qquad
\lVert p_\tau-p_0\rVert _1\coloneqq\sum_i\lvert p_i(\tau)-p_i(0)\rvert ,\quad
\langle \mathcal A \rangle _\tau\coloneqq\frac1\tau\int_0^\tau\sum_{i\neq j}p_i(t)k_{ij}(t)\,\mathrm{d} t\tag{4.6.16} τ ≥ 2 ⟨ Σ ⟩ ⟨ A ⟩ τ ∥ p τ − p 0 ∥ 1 2 , ∥ p τ − p 0 ∥ 1 : = i ∑ ∣ p i ( τ ) − p i ( 0 )∣ , ⟨ A ⟩ τ : = τ 1 ∫ 0 τ i = j ∑ p i ( t ) k ij ( t ) d t ( 4.6.16 )
が成り立つ。⟨ Σ ⟩ = ∫ 0 τ Σ ˙ d t \langle \Sigma \rangle =\int_0^\tau\dot\Sigma\,\mathrm{d} t ⟨ Σ ⟩ = ∫ 0 τ Σ ˙ d t は式 (4.6.11) の Σ ˙ \dot\Sigma Σ ˙ を時間で積分したもの、A \mathcal A A は単位時間あたりの跳躍の回数の平均(活動度)である。
証明 各時刻の流れ j i j j_{ij} j ij と往き来の総量 b i j b_{ij} b ij を式 (4.6.10) のとおり(ただしその時刻の p ( t ) p(t) p ( t ) で)定める。p ˙ i = − ∑ j j i j \dot p_i=-\sum_jj_{ij} p ˙ i = − ∑ j j ij から∑ i ∣ p ˙ i ∣ ≤ ∑ i ∑ j ∣ j i j ∣ = 2 ∑ i < j ∣ j i j ∣ \sum_i\lvert \dot p_i\rvert \le\sum_i\sum_j\lvert j_{ij}\rvert =2\sum_{i<j}\lvert j_{ij}\rvert ∑ i ∣ p ˙ i ∣ ≤ ∑ i ∑ j ∣ j ij ∣ = 2 ∑ i < j ∣ j ij ∣ である。Cauchy–Schwarz の不等式と補題 4.6.3 から
∑ i < j ∣ j i j ∣ = ∑ i < j ∣ j i j ∣ b i j b i j ≤ ( ∑ i < j j i j 2 b i j ) 1 / 2 ( ∑ i < j b i j ) 1 / 2 ≤ ( Σ ˙ 2 ) 1 / 2 A 1 / 2 \sum_{i<j}\lvert j_{ij}\rvert =\sum_{i<j}\frac{\lvert j_{ij}\rvert }{\sqrt{b_{ij}}}\sqrt{b_{ij}}\le\Bigl(\sum_{i<j}\frac{j_{ij}^2}{b_{ij}}\Bigr)^{1/2}\Bigl(\sum_{i<j}b_{ij}\Bigr)^{1/2}\le\Bigl(\frac{\dot\Sigma}{2}\Bigr)^{1/2}\mathcal A^{1/2} i < j ∑ ∣ j ij ∣ = i < j ∑ b ij ∣ j ij ∣ b ij ≤ ( i < j ∑ b ij j ij 2 ) 1/2 ( i < j ∑ b ij ) 1/2 ≤ ( 2 Σ ˙ ) 1/2 A 1/2
で(∑ i < j b i j = ∑ i ≠ j p i k i j = A \sum_{i<j}b_{ij}=\sum_{i\neq j}p_ik_{ij}=\mathcal A ∑ i < j b ij = ∑ i = j p i k ij = A )、∑ i ∣ p ˙ i ∣ ≤ 2 Σ ˙ A \sum_i\lvert \dot p_i\rvert \le\sqrt{2\dot\Sigma\mathcal A} ∑ i ∣ p ˙ i ∣ ≤ 2 Σ ˙ A を得る。時間で積分し、もう一度 Cauchy–Schwarz の不等式を使うと∥ p τ − p 0 ∥ 1 ≤ ∫ 0 τ 2 Σ ˙ A d t ≤ 2 ⟨ Σ ⟩ ⋅ τ ⟨ A ⟩ τ \lVert p_\tau-p_0\rVert _1\le\int_0^\tau\sqrt{2\dot\Sigma\mathcal A}\,\mathrm{d} t\le\sqrt{2\langle \Sigma \rangle \cdot\tau\langle \mathcal A \rangle _\tau} ∥ p τ − p 0 ∥ 1 ≤ ∫ 0 τ 2 Σ ˙ A d t ≤ 2 ⟨ Σ ⟩ ⋅ τ ⟨ A ⟩ τ で、2乗して整理すれば式 (4.6.16) になる。
この定理は Shiraishi・Funo・Saito が示したものである(N. Shiraishi, K. Funo, and K. Saito (2018), Phys. Rev. Lett. 121, 070601)。証明の中心は、TUR の証明と同じ補題 4.6.3 (辺ごとのエントロピー生成が流れの2乗を押さえる)である。式 (4.6.16) は、分布を大きく動かすには、長い時間をかけるか、たくさんのエントロピーを生成するか、たくさん跳躍させるか、のどれかが要ることを表す。量子力学の Mandelstam–Tamm の限界でエネルギーの揺らぎ Δ E \Delta E Δ E が担っていた「時間の尺度」の役を、ここでは活動度 A \mathcal A A が担っている。
連続な空間の速度限界:輸送の距離
過減衰の Langevin 方程式では、跳躍の回数という量が無いので形が変わる。Fokker–Planck 方程式 ∂ t p = − ∂ x ( p u ) \partial_tp=-\partial_x(p\,u) ∂ t p = − ∂ x ( p u ) を、各点の速度 u ( x , t ) ≔ j / p u(x,t)\coloneqq j/p u ( x , t ) : = j / p で確率を運ぶ連続の式とみる。第4部第1章の平均の第二法則の定理で使ったエントロピー生成は Σ ˙ = γ k B T ∫ p u 2 d x \dot\Sigma=\frac{\gamma}{ k_{\mathrm B} T}\int p\,u^2\,\mathrm{d} x Σ ˙ = k B T γ ∫ p u 2 d x で、確率を運ぶ運動エネルギーに比例する。一方、分布 p 0 p_0 p 0 を p τ p_\tau p τ へ運ぶ方法のうち ∫ 0 τ ∫ p u 2 d x d t \int_0^\tau\!\int p\,u^2\,\mathrm{d} x\,\mathrm{d} t ∫ 0 τ ∫ p u 2 d x d t が最小のものは最適輸送の問題で、その最小値は
min ∫ 0 τ ∫ p u 2 d x d t = W 2 ( p 0 , p τ ) 2 τ (4.6.17) \min\int_0^\tau\!\!\int p\,u^2\,\mathrm{d} x\,\mathrm{d} t=\frac{\mathcal W_2(p_0,p_\tau)^2}{\tau}\tag{4.6.17} min ∫ 0 τ ∫ p u 2 d x d t = τ W 2 ( p 0 , p τ ) 2 ( 4.6.17 )
である(J.-D. Benamou and Y. Brenier (2000), Numer. Math. 84, 375)。W 2 \mathcal W_2 W 2 は2次の Wasserstein 距離で、1次元では分布の分位点どうしを結んだ移動距離の2乗平均の平方根W 2 ( p 0 , p τ ) 2 = ∫ 0 1 ( F τ − 1 ( s ) − F 0 − 1 ( s ) ) 2 d s \mathcal W_2(p_0,p_\tau)^2=\int_0^1\bigl(F_\tau^{-1}(s)-F_0^{-1}(s)\bigr)^2\mathrm{d} s W 2 ( p 0 , p τ ) 2 = ∫ 0 1 ( F τ − 1 ( s ) − F 0 − 1 ( s ) ) 2 d s (F F F は累積分布関数)で計算することができる。実際の過程は最小値以上なので、次の定理を得る。
定理 4.6.5(輸送の速度限界 ★★★)
過減衰の Langevin 方程式に従う粒子の分布が、どんなプロトコルのもとでも時間 τ \tau τ で p 0 p_0 p 0 から p τ p_\tau p τ へ移るなら
k B T ⟨ Σ ⟩ ≥ γ W 2 ( p 0 , p τ ) 2 τ . (4.6.18) k_{\mathrm B} T\langle \Sigma \rangle \ \ge\ \frac{\gamma\,\mathcal W_2(p_0,p_\tau)^2}{\tau}.\tag{4.6.18} k B T ⟨ Σ ⟩ ≥ τ γ W 2 ( p 0 , p τ ) 2 . ( 4.6.18 )
最適な過程で散逸を最小にする問題が最適輸送と同じ問題になることは、Aurell・Mejía-Monasterio・Muratore-Ginanneschi が指摘した(E. Aurell, C. Mejía-Monasterio, and P. Muratore-Ginanneschi (2011), Phys. Rev. Lett. 106, 250601)。第4部第1章でばねの中心を時間 t f t_{\mathrm f} t f で動かす最良のやり方を求めたとき、分布の平均を m f m_{\mathrm f} m f だけ動かすのに要る散逸の最小が γ m f 2 / t f \gamma m_{\mathrm f}^2/t_{\mathrm f} γ m f 2 / t f で、等速で動かすと達成された(第4部第1章 )。幅の同じ2つの正規分布の W 2 \mathcal W_2 W 2 は平均の差 m f m_{\mathrm f} m f そのものなので、これは式 (4.6.18) の等号の場合である。等速で動かすことが最適だったのは、最適輸送の測地線が「各分位点を一定の速さでまっすぐ動かす」ものだからである。
情報幾何の速度限界
3つ目の形は、この巻の背骨にいちばん近い。時刻 t t t をパラメータとみて、分布の族 p t p_t p t の Fisher 情報
J t ( t ) ≔ ∑ i p ˙ i ( t ) 2 p i ( t ) , D ( p t ∥ p t + d t ) = 1 2 J t ( t ) d t 2 + O ( d t 3 ) (4.6.19) J_{\mathrm t}(t)\coloneqq\sum_i\frac{\dot p_i(t)^2}{p_i(t)},\qquad D(p_t\,\|\,p_{t+\mathrm{d} t})=\frac12J_{\mathrm t}(t)\,\mathrm{d} t^2+\mathcal{O}(\mathrm{d} t^3)\tag{4.6.19} J t ( t ) : = i ∑ p i ( t ) p ˙ i ( t ) 2 , D ( p t ∥ p t + d t ) = 2 1 J t ( t ) d t 2 + O ( d t 3 ) ( 4.6.19 )
を考える(連続の分布では和を積分にする)。J t J_{\mathrm t} J t は「単位時間あたりに分布がどれだけ見分けられるほど変わるか」の速さの2乗である。任意の量 A A A の平均の時間変化は d d t ⟨ A ⟩ = ∑ i ( A i − ⟨ A ⟩ ) p ˙ i \frac{\mathrm{d} }{\mathrm{d} t}\langle A \rangle =\sum_i(A_i-\langle A \rangle )\dot p_i d t d ⟨ A ⟩ = ∑ i ( A i − ⟨ A ⟩) p ˙ i と書けるので、Cauchy–Schwarz の不等式(Cramér–Rao の不等式と同じもの)から
∣ d ⟨ A ⟩ d t ∣ ≤ V a r t ( A ) J t ( t ) (4.6.20) \Bigl|\frac{\mathrm{d} \langle A \rangle }{\mathrm{d} t}\Bigr|\ \le\ \sqrt{\mathrm{Var}_t(A)\,J_{\mathrm t}(t)}\tag{4.6.20} d t d ⟨ A ⟩ ≤ Var t ( A ) J t ( t ) ( 4.6.20 )
が成り立つ(S. Ito and A. Dechant (2020), Phys. Rev. X 10, 021056)。どんな量の平均も、その揺らぎと分布の変わる速さの積より速く動くことはできない。さらに第1部第7章で、J \sqrt{J} J で測った曲線の長さは2つの分布の統計的距離 2 arccos ∑ i p i q i 2\arccos\sum_i\sqrt{p_iq_i} 2 arccos ∑ i p i q i 以上であることを見た(第1部第7章 )。これを時間の曲線に当てると
∫ 0 τ J t ( t ) d t ≥ 2 arccos ∑ i p i ( 0 ) p i ( τ ) (4.6.21) \int_0^\tau\sqrt{J_{\mathrm t}(t)}\,\mathrm{d} t\ \ge\ 2\arccos\sum_i\sqrt{p_i(0)\,p_i(\tau)}\tag{4.6.21} ∫ 0 τ J t ( t ) d t ≥ 2 arccos i ∑ p i ( 0 ) p i ( τ ) ( 4.6.21 )
である。左辺の ∫ J t d t \int\sqrt{J_{\mathrm t}}\,\mathrm{d} t ∫ J t d t は、第4部第1章で段に分けた操作の難しさを測るのに使った「Fisher 情報で測った長さ」L \mathcal L L を、時間の向きの曲線に沿って測ったものである。分布が動いた統計的な距離が、曲線の長さの下限になる。式 (4.6.21) は第6節で量子力学の Mandelstam–Tamm の限界と同じ形であることを確かめる。
図 4.6.2 2状態の緩和(例題 4.6.4 )での跳躍過程の速度限界 (4.6.16) 。灰色の実線が実際の経過時間 k τ k\tau k τ 、黒の実線が右辺の下限(どちらも厳密な式から描いた)。下限は短い時間でも実際の時間を下回り、長い時間では ∥ p τ − p 0 ∥ 1 → 1 \lVert p_\tau-p_0\rVert _1\to1 ∥ p τ − p 0 ∥ 1 → 1 、⟨ Σ ⟩ → ln 2 \langle \Sigma \rangle \to\ln2 ⟨ Σ ⟩ → ln 2 で 1 / ( 2 ln 2 ) = 0.721 1/(2\ln2)=0.721 1/ ( 2 ln 2 ) = 0.721 に飽和する。
例題 4.6.4 2状態の緩和の速度限界 ★★
オリジナル 2つの状態の間を、どちら向きにも速さ k k k で移る系を考える。時刻0に全確率が状態1にある(p 0 = ( 1 , 0 ) p_0=(1,0) p 0 = ( 1 , 0 ) )。
(1) p 1 ( t ) p_1(t) p 1 ( t ) を求め、∥ p τ − p 0 ∥ 1 \lVert p_\tau-p_0\rVert _1 ∥ p τ − p 0 ∥ 1 、活動度 A \mathcal A A 、⟨ Σ ⟩ \langle \Sigma \rangle ⟨ Σ ⟩ を τ \tau τ の関数として書け。
(2) k τ = 0.5 k\tau=0.5 k τ = 0.5 で式 (4.6.16) の両辺を比べよ。
(3) 同じ k τ = 0.5 k\tau=0.5 k τ = 0.5 で、統計的距離の不等式 (4.6.21) の両辺を比べよ。
解答 (1) p ˙ 1 = − k p 1 + k p 2 = k ( 1 − 2 p 1 ) \dot p_1=-k p_1+k p_2=k(1-2p_1) p ˙ 1 = − k p 1 + k p 2 = k ( 1 − 2 p 1 ) から p 1 ( t ) = 1 2 ( 1 + e − 2 k t ) p_1(t)=\frac12(1+\mathrm{e}^{-2kt}) p 1 ( t ) = 2 1 ( 1 + e − 2 k t ) である。∥ p τ − p 0 ∥ 1 = 2 ( 1 − p 1 ( τ ) ) = 1 − e − 2 k τ \lVert p_\tau-p_0\rVert _1=2(1-p_1(\tau))=1-\mathrm{e}^{-2k\tau} ∥ p τ − p 0 ∥ 1 = 2 ( 1 − p 1 ( τ )) = 1 − e − 2 k τ 、A = k ( p 1 + p 2 ) = k \mathcal A=k(p_1+p_2)=k A = k ( p 1 + p 2 ) = k で時間によらない。平衡分布は ( 1 2 , 1 2 ) (\frac12,\frac12) ( 2 1 , 2 1 ) で、設定を止めた緩和なので第4部第1章の D D D の減る速さの定理の離散版から⟨ Σ ⟩ = D ( p 0 ∥ π ) − D ( p τ ∥ π ) = ln 2 − D ( p τ ∥ π ) \langle \Sigma \rangle =D(p_0\,\|\,\pi)-D(p_\tau\,\|\,\pi)=\ln2-D(p_\tau\,\|\,\pi) ⟨ Σ ⟩ = D ( p 0 ∥ π ) − D ( p τ ∥ π ) = ln 2 − D ( p τ ∥ π ) である。
(2) p 1 ( τ ) = 1 2 ( 1 + e − 1 ) = 0.6839 p_1(\tau)=\frac12(1+\mathrm{e}^{-1})=0.6839 p 1 ( τ ) = 2 1 ( 1 + e − 1 ) = 0.6839 で、∥ p τ − p 0 ∥ 1 = 0.6321 \lVert p_\tau-p_0\rVert _1=0.6321 ∥ p τ − p 0 ∥ 1 = 0.6321 、D ( p τ ∥ π ) = 0.0693 D(p_\tau\,\|\,\pi)=0.0693 D ( p τ ∥ π ) = 0.0693 、⟨ Σ ⟩ = 0.6239 \langle \Sigma \rangle =0.6239 ⟨ Σ ⟩ = 0.6239 である。右辺は 0.6321 2 / ( 2 × 0.6239 × k ) = 0.320 / k 0.6321^2/(2\times0.6239\times k)=0.320/k 0.632 1 2 / ( 2 × 0.6239 × k ) = 0.320/ k で、実際の τ = 0.5 / k \tau=0.5/k τ = 0.5/ k を下回る(図 4.6.2 )。
(3) J t = p ˙ 1 2 / p 1 + p ˙ 2 2 / p 2 = p ˙ 1 2 / ( p 1 p 2 ) J_{\mathrm t}=\dot p_1^2/p_1+\dot p_2^2/p_2=\dot p_1^2/(p_1p_2) J t = p ˙ 1 2 / p 1 + p ˙ 2 2 / p 2 = p ˙ 1 2 / ( p 1 p 2 ) で、p ˙ 1 = − k e − 2 k t \dot p_1=-k\mathrm{e}^{-2kt} p ˙ 1 = − k e − 2 k t 、p 1 p 2 = 1 4 ( 1 − e − 4 k t ) p_1p_2=\frac14(1-\mathrm{e}^{-4kt}) p 1 p 2 = 4 1 ( 1 − e − 4 k t ) だからJ t = 2 k e − 2 k t / 1 − e − 4 k t \sqrt{J_{\mathrm t}}=2k\mathrm{e}^{-2kt}/\sqrt{1-\mathrm{e}^{-4kt}} J t = 2 k e − 2 k t / 1 − e − 4 k t である。z = e − 2 k t z=\mathrm{e}^{-2kt} z = e − 2 k t と置換すると ∫ 0 τ J t d t = ∫ z τ 1 d z 1 − z 2 = π 2 − arcsin z τ = arccos z τ \int_0^\tau\sqrt{J_{\mathrm t}}\,\mathrm{d} t=\int_{z_\tau}^1\frac{\mathrm{d} z}{\sqrt{1-z^2}}=\frac\pi2-\arcsin z_\tau=\arccos z_\tau ∫ 0 τ J t d t = ∫ z τ 1 1 − z 2 d z = 2 π − arcsin z τ = arccos z τ で、k τ = 0.5 k\tau=0.5 k τ = 0.5 では arccos ( e − 1 ) = 1.1941 \arccos(\mathrm{e}^{-1})=1.1941 arccos ( e − 1 ) = 1.1941 である。右辺は 2 arccos ( p 1 ( τ ) ) = 2 arccos ( 0.8270 ) = 1.1941 2\arccos\bigl(\sqrt{p_1(\tau)}\bigr)=2\arccos(0.8270)=1.1941 2 arccos ( p 1 ( τ ) ) = 2 arccos ( 0.8270 ) = 1.1941 で、等号が成り立つ。p 1 = cos 2 ( ϕ / 2 ) p_1=\cos^2(\phi/2) p 1 = cos 2 ( ϕ /2 ) とおくと ϕ \phi ϕ は単調に一方向へ進むので、この2状態の緩和は統計的距離の測地線に沿って動いている。
AI(Claude)が書いた教材を、木下が勉強しながら公開しています。式と数値は検算していますが、誤りが残っているかもしれません。誤りのご指摘・削除のご依頼をいただければ直します。 連絡先:support@tecktom.com