tecktom.com

この章のまとめ

2026年10月15日9分で読めますAI生成教科書『虎の巻』第2部 第4章 粗視化と第二法則

AI 生成・木下が未勉強

相対エントロピーから情報と物理を組み立てる 第2部 第4章 §2.4.7 ★★★ DD は可逆な運動で一定、粗視化で減る。この2つから、初めとの比較の第二法則・毎回粗視化したときの単調な第二法則・Clausius の不等式が出る

この章で使った DD の性質は2つだけである。1つ目は、可逆な写像は DD を変えないこと(定理 2.4.2)。Hamilton 力学は体積を保つので、平衡の密度を動かさず、細かい密度と平衡の密度の DD も、Gibbs のエントロピーも一定に保つ。2つ目は、粗視化は DD を減らし、減った量は捨てた情報 D(ρ ∥ Πρ)D(\rho\,\|\,\Pi\rho) に正確に等しいこと(定理 2.4.4、Pythagoras の等式)。区画平均・周辺の積・最大エントロピーへの射影は、どれも同じ形の射影である。

この2つを組み合わせると、初めに粗い知識しかなかった系の粗いエントロピーは、初めの値を下回らない(定理 2.4.5)。時間の向きは、初めの密度が粗視化した形であるという仮定にだけ入っており、時間についての単調性は出ない。単調性は、毎回粗視化して運動を Markov 過程に置き換えたとき、データ処理不等式から出る(命題 2.4.6)。Boltzmann の H 定理はこの形で、置き換えは Boltzmann–Grad 極限で短い時間に限り証明されている。熱浴と接した系では、エントロピー生成が系と熱浴の相関と熱浴の平衡からのずれの和に等しく(定理 2.4.7)、Clausius の不等式はその非負性である。どの場合も、エントロピーの増えは粗視化で捨てた情報の量に等しく、細かい密度の上では情報は失われていない。

粗視化の選び方は、何を測れるかで決まる。同じ気体でも、粒子を見分けられるかどうかで粗視化が変わり、エントロピーの値も変わる。これが次の章 第2部第5章 の Gibbs のパラドックスの主題である。時間の向きを1本の軌道の確率で述べ直し、エントロピー生成を「経路の確率と逆回しの経路の確率の DD」として定義することは、第4部第3章 で扱う。

要点

  • 可逆な写像のもとで D(ϕ∗ρ ∥ ϕ∗σ)=D(ρ ∥ σ)D(\phi_*\rho\,\|\,\phi_*\sigma)=D(\rho\,\|\,\sigma)。体積を保つなら H(ρt)H(\rho_t) も一定。
  • 粗視化 Π\Pi(区画平均・周辺の積・最大エントロピー)について D(ρ ∥ σ)=D(ρ ∥ Πρ)+D(Πρ ∥ σ)D(\rho\,\|\,\sigma)=D(\rho\,\|\,\Pi\rho)+D(\Pi\rho\,\|\,\sigma)、H(Πρ)−H(ρ)=D(ρ ∥ Πρ)H(\Pi\rho)-H(\rho)=D(\rho\,\|\,\Pi\rho)。
  • ρ0=Πρ0\rho_0=\Pi\rho_0 なら H(Πρt)≥H(Πρ0)H(\Pi\rho_t)\ge H(\Pi\rho_0)。単調性は毎回の粗視化(Markov 化)から。
  • 熱浴と接した系:ΔH(ρS)−βQ=I(S;B)+D(ρB ∥ ρBcan)≥0\Delta H(\rho_{\mathrm S})-\beta Q=I(\mathrm S;\mathrm B)+D(\rho_{\mathrm B}\,\|\,\rho_{\mathrm B}^{\mathrm{can}})\ge0。

総合問題 小さな熱浴で見る Clausius の不等式と緩和 ★★★

オリジナルエネルギー 0,ε0,\varepsilon の2つの状態 s∈{0,1}s\in\{0,1\} を持つ系と、エネルギー 0,ε,2ε0,\varepsilon ,2\varepsilon の3つの状態 b∈{0,1,2}b\in\{0,1,2\} を持つ熱浴を考える。βε=ln⁡2\beta\varepsilon =\ln2 とする。全体の運動は、全エネルギーが同じ状態どうしの置換

(1,0)↔(0,1),(1,1)↔(0,2),(0,0) と (1,2) は動かない(1,0)\leftrightarrow(0,1),\qquad(1,1)\leftrightarrow(0,2),\qquad(0,0)\ \text{と}\ (1,2)\ \text{は動かない}

を1回当てるものとする(系が ε\varepsilon を手放して熱浴が ε\varepsilon を受け取る、またはその逆)。初めの系は確実に s=1s=1 にあり、熱浴はカノニカル分布にある。

  1. (1) 熱浴のカノニカル分布と、置換を1回当てた後の全体の分布を求めよ。全体の HH が変わらないことを確かめよ。(使う道具:2.4.1 節の離散の Liouville の定理)
  2. (2) 後の系と熱浴の周辺の分布を求め、I(S;B)I(\mathrm S;\mathrm B) と D(ρB ∥ ρBcan)D(\rho_{\mathrm B}\,\|\,\rho_{\mathrm B}^{\mathrm{can}}) を求めよ。(使う道具:2.4.2 節、第1部第3章)
  3. (3) 系が受け取った熱 QQ を求め、Σ=ΔH(ρS)−βQ\Sigma=\Delta H(\rho_{\mathrm S})-\beta Q を計算して、定理 2.4.7 の等式 Σ=I+D\Sigma=I+D を確かめよ。(使う道具:2.4.5 節)
  4. (4) 毎回、熱浴を新しいカノニカル分布のものに取り替えて置換を繰り返す。系の状態の遷移行列 WW を求め、カノニカル分布 π\pi が定常であることと、D(pt ∥ π)D(p_t\,\|\,\pi) が t=0,1,2,3t=0,1,2,3 で単調に減ることを確かめよ。(使う道具:2.4.4 節、第1部第1章 の等温の第二法則)
  5. (5) 1歩ごとのエントロピー生成 Σt\Sigma_t が D(pt ∥ π)−D(pt+1 ∥ π)D(p_t\,\|\,\pi)-D(p_{t+1}\,\|\,\pi) に等しいことを示し、(3) の値と比べよ。全部の歩で生じるエントロピーの和はいくらか。(使う道具:2.4.5 節、第2部第2章 の Gibbs の変分原理)
解答

(1) 熱浴のカノニカル分布は e−βεb=2−b\mathrm{e}^{-\beta\varepsilon b}=2^{-b} に比例するので ρBcan=(4/7, 2/7, 1/7)\rho_{\mathrm B}^{\mathrm{can}}=(4/7,\,2/7,\,1/7) である。初めの全体の分布は (1,b)(1,b) に (4/7,2/7,1/7)(4/7,2/7,1/7) で、置換により (1,0)→(0,1)(1,0)\to(0,1)、(1,1)→(0,2)(1,1)\to(0,2)、(1,2)(1,2) はそのままなので、後の分布は(0,1)(0,1) に 4/74/7、(0,2)(0,2) に 2/72/7、(1,2)(1,2) に 1/71/7 である。確率の値の組は並べ替わっただけなので、全体の HH は H(4/7,2/7,1/7)=0.956H(4/7,2/7,1/7)=0.956 nat のまま変わらない。

(2) 系の周辺は ρS=(6/7, 1/7)\rho_{\mathrm S}=(6/7,\,1/7)、熱浴の周辺は ρB=(0, 4/7, 3/7)\rho_{\mathrm B}=(0,\,4/7,\,3/7) である。H(ρS)=hb(1/7)=0.410H(\rho_{\mathrm S})=h_{\mathrm b}(1/7)=0.410、H(ρB)=hb(3/7)=0.683H(\rho_{\mathrm B})=h_{\mathrm b}(3/7)=0.683 なので I(S;B)=0.410+0.683−0.956=0.137I(\mathrm S;\mathrm B)=0.410+0.683-0.956=0.137 nat である。熱浴のずれは D(ρB ∥ ρBcan)=47ln⁡4/72/7+37ln⁡3/71/7=47ln⁡2+37ln⁡3=0.867D(\rho_{\mathrm B}\,\|\,\rho_{\mathrm B}^{\mathrm{can}})=\frac47\ln\frac{4/7}{2/7}+\frac37\ln\frac{3/7}{1/7}=\frac47\ln2+\frac37\ln3=0.867 nat である。

(3) 全体のエネルギーは保存し、相互作用のエネルギーは無いので、系が受け取った熱は系のエネルギーの増えに等しい。系のエネルギーは ε\varepsilon から ε/7\varepsilon /7 になるので Q=−6ε/7Q=-6\varepsilon /7 である。初めの系は確実に s=1s=1 なので H(ρS(0))=0H(\rho_{\mathrm S}(0))=0 で、

Σ=hb(1/7)+67βε=0.410+67ln⁡2=1.004 nat.\Sigma=h_{\mathrm b}(1/7)+\frac67\beta\varepsilon =0.410+\frac67\ln2=1.004\ \text{nat}.

一方 I+D=0.137+0.867=1.004I+D=0.137+0.867=1.004 nat で、等式が成り立つ。系のエントロピーの増え 0.4100.410 は、熱を手放した分 βQ=−0.594\beta Q=-0.594 を考えると不等式 ΔH≥βQ\Delta H\ge\beta Q を大きく満たしており、その余りが系と熱浴の相関と、熱浴が平衡から押し上げられた分に分かれている。

(4) 熱浴が毎回新しいカノニカル分布なので、系の次の状態は今の状態だけで決まる。s=1s=1 からは b∈{0,1}b\in\{0,1\}(確率 6/76/7)のとき s=0s=0 へ、b=2b=2(確率 1/71/7)のとき s=1s=1 にとどまる。s=0s=0 からは b∈{1,2}b\in\{1,2\}(確率 3/73/7)のとき s=1s=1 へ、b=0b=0(確率 4/74/7)のとき s=0s=0 にとどまる。列を移る前の状態、行を移った後の状態にとると

W=(4/76/73/71/7),π=(2/3, 1/3).W=\begin{pmatrix}4/7&6/7\\3/7&1/7\end{pmatrix},\qquad \pi=(2/3,\,1/3).

Wπ=(8/21+6/21, 6/21+1/21)=(2/3,1/3)W\pi=(8/21+6/21,\ 6/21+1/21)=(2/3,1/3) で定常であり、π0/π1=2=eβε\pi_0/\pi_1=2=\mathrm{e}^{\beta\varepsilon } はカノニカル分布である(詳細つり合い 37⋅23=67⋅13\frac37\cdot\frac23=\frac67\cdot\frac13 も成り立つ)。p0=(0,1)p_0=(0,1) から p1=(6/7,1/7)p_1=(6/7,1/7)、p2=Wp1p_2=W p_1、… と進み、D(pt ∥ π)D(p_t\,\|\,\pi) は 1.0991.099(=ln⁡3=\ln3)、0.09440.0944、0.00650.0065、0.000550.00055 と単調に減る。WW の2つ目の固有値は −2/7-2/7 で、π\pi からのずれは毎回 −2/7-2/7 倍になり、DD はずれの2乗におおよそ比例して減る。これは 2.4.4 節の命題で、熱浴を取り替えることが毎回の粗視化(熱浴との相関と熱浴のずれを捨てること)にあたる。

(5) 1歩の間、全体のエネルギーは保存するので Qt=Δ⟨ES⟩Q_t=\Delta\langle E_{\mathrm S} \rangle である。D(p ∥ π)=β⟨ES⟩p−H(p)+ln⁡ZSD(p\,\|\,\pi)=\beta\langle E_{\mathrm S} \rangle _p-H(p)+\ln Z_{\mathrm S} なので

Σt=ΔH(p)−βΔ⟨ES⟩=−[D(pt+1 ∥ π)−D(pt ∥ π)]=D(pt ∥ π)−D(pt+1 ∥ π)\Sigma_t=\Delta H(p)-\beta\Delta\langle E_{\mathrm S} \rangle =-\bigl[D(p_{t+1}\,\|\,\pi)-D(p_t\,\|\,\pi)\bigr]=D(p_t\,\|\,\pi)-D(p_{t+1}\,\|\,\pi)

となる。1歩目は ln⁡3−0.0944=1.004\ln3-0.0944=1.004 で (3) の値に一致する。2歩目は 0.0944−0.0065=0.0880.0944-0.0065=0.088 で、これも新しい熱浴で計算した I+DI+D に等しい。和は打ち消し合って D(p0 ∥ π)−D(p∞ ∥ π)=ln⁡3=1.099D(p_0\,\|\,\pi)-D(p_\infty\,\|\,\pi)=\ln3=1.099 nat になる。初めの非平衡の度合い D(p0 ∥ π)D(p_0\,\|\,\pi) が、毎回の粗視化で捨てられる相関と熱浴のずれとして、残らずエントロピー生成になる。自由エネルギーで言えば、kBTln⁡3k_{\mathrm B} T\ln3 が初めの系の自由エネルギーの余り F[p0]−FeqF[p_0]-F_{\mathrm{eq}} で、熱浴を毎回取り替える操作はそれを仕事として取り出さずにすべて捨てている。

木下の勉強ステータス

木下はまだこの記事を勉強していません。

AI(Claude)が書いた教材を、木下が勉強しながら公開しています。式と数値は検算していますが、誤りが残っているかもしれません。誤りのご指摘・削除のご依頼をいただければ直します。 連絡先:support@tecktom.com

← AI生成教科書『虎の巻』の記事一覧へ