tecktom.com

授業で習った形との対応

2026年10月15日7分で読めますAI生成教科書『虎の巻』第7部 第8章 終章：相対エントロピー1本で何が言えたか
目次
  1. 対応表
  2. 第一法則は の1次が消えること
  3. 木下の層

AI 生成・木下が未勉強

相対エントロピーから情報と物理を組み立てる　第7部 第8章 §7.8.6　★★ 情報理論・統計学・熱力学・一般相対論の授業の公式を、この巻の DD の形と並べる

対応表

授業では、情報理論・統計学・熱力学・ブラックホールの熱力学を別の科目で習う。表 7.8.4 は、それぞれの科目の代表的な公式と、この巻での DD の形を並べたものである。授業の形は、多くが DD の形で比べる相手を特別に選んだ（一様分布・独立・平衡）ものになっている。

表 7.8.4　授業で習った形とこの巻の DD の形。
授業の形この巻の形章
0≤H≤log⁡2∣X∣0\le H\le\log_2\lvert \mathcal X\rvert ビットH=ln⁡∣X∣−D(p ∥ u)H=\ln\lvert \mathcal X\rvert -D(p\,\|\,u)第1部第2章
平均符号長 L≥HL\ge H(ln⁡2)ℓˉ=H+D(p ∥ qC)−ln⁡K(\ln2)\bar\ell=H+D(p\,\|\,q_C)-\ln K第1部第5章
C=max⁡pI(X;Y)C=\max_pI(X;Y)C=min⁡rmax⁡xD(Wx ∥ r)C=\min_r\max_xD(W_x\,\|\,r)第1部第6章
Var(θ^)≥1/(nI(θ))\mathrm{Var}(\hat\theta)\ge1/(nI(\theta))（統計学の I(θ)I(\theta)）D(pθ ∥ pθ+δ)=12Jδ2D(p_\theta\,\|\,p_{\theta+\delta})=\frac12J\delta^2、Var≥1/(nJ)\mathrm{Var}\ge1/(nJ)第1部第7章
尤度比検定第2種の誤りの指数 =D(p0 ∥ p1)=D(p_0\,\|\,p_1)第1部第8章
S=kBln⁡W(E)S= k_{\mathrm B}\ln W(E)二項係数の評価 enhb/(n+1)≤(nk)≤enhb\mathrm{e}^{nh_{\mathrm b}}/(n+1)\le\binom nk\le\mathrm{e}^{nh_{\mathrm b}}第1部第2章
Helmholtz の自由エネルギー最小F[p]−Feq=kBTD(p ∥ peq)F[p]-F_{\mathrm{eq}}= k_{\mathrm B} TD(p\,\|\,p_{\mathrm{eq}})第2部第2章
Clausius の不等式 ΔS≥Q/T\Delta S\ge Q/TΔH−βQ=D(p0 ∥ peq)−D(p1 ∥ peq)≥0\Delta H-\beta Q=D(p_0\,\|\,p_{\mathrm{eq}})-D(p_1\,\|\,p_{\mathrm{eq}})\ge0第2部第4章・第4部第3章
最大仕事 W≥ΔFW\ge\Delta Fβ(⟨W⟩−ΔF)=D(P ∥ P~)\beta(\langle W \rangle -\Delta F)=D(P\,\|\,\tilde P)第4部第2・3章
1ビットの消去に kBTln⁡2k_{\mathrm B} T\ln2W≥kBT[H(M)−H(M′)]+⋯W\ge k_{\mathrm B} T[H(M)-H(M')]+\cdots第4部第5章
熱力学の第一法則 dS=dU/T\mathrm{d} S=\mathrm{d} U/TΔS=βΔE−D(ρ^ ∥ ρ^β)\Delta S=\beta\Delta E-D(\hat\rho\,\|\,\hat\rho_\beta)、DD は2次この章
ブラックホールの第一法則 d(SBH)=d(Mc2)/TH\mathrm{d}(S_{\mathrm{BH}})=\mathrm{d}(Mc^2)/T_{\mathrm H}式 (7.8.3) の DD の1次が消えること第7部第1章
面積定理・一般化第二法則式 (7.8.4)（DD の単調性）第7部第1章

第一法則は DD の1次が消えること

表の下の3行は、熱力学の第一法則とブラックホールの第一法則が同じ形をしていることを示している。熱状態 ρ^β=e−βH^/Z\hat\rho_\beta=\mathrm{e}^{-\beta\hat H}/Z を基準に、任意の状態 ρ^\hat\rho を比べると、定義から恒等式

S(ρ^)−S(ρ^β)=β(⟨H^⟩ρ^−⟨H^⟩ρ^β)−D(ρ^ ∥ ρ^β)(7.8.5)S(\hat\rho)-S(\hat\rho_\beta)=\beta\bigl(\langle \hat H \rangle _{\hat\rho}-\langle \hat H \rangle _{\hat\rho_\beta}\bigr)-D(\hat\rho\,\|\,\hat\rho_\beta)\tag{7.8.5}

が成り立つ。ρ^\hat\rho が ρ^β\hat\rho_\beta から δ\delta だけずれたとき、DD は δ\delta の2次の量（D≥0D\ge0 で δ=0\delta=0 で最小なので1次の項が無い）だから、1次では δS=β δE\delta S=\beta\,\delta E、すなわち dS=dU/T\mathrm{d} S=\mathrm{d} U/T が出る。第一法則は、DD の非負性と滑らかさから出る「1次の項が消える」ことの言い換えである。2次の項は Fisher 情報で、ずれが大きくなると DD の分だけエントロピーの増えが β δE\beta\,\delta E より小さくなる。

式 (7.8.3) にも同じことが言える。真空 σ^\hat\sigma の近くで ρ^\hat\rho をわずかに変えると、DD は2次なので1次では ΔS=Δ⟨K^⟩\Delta S=\Delta\langle \hat K \rangle になる。ブラックホールの地平面の外で K^\hat K が（ℏ/(kBTH)\hbar/( k_{\mathrm B} T_{\mathrm H}) を単位とした）エネルギーに比例することを使えば、これは dS=dE/TH\mathrm{d} S=\mathrm{d} E/T_{\mathrm H} の形で、ブラックホールの第一法則と同じ構造を持つ。

例題 7.8.6　第一法則と DD の2次 ★★

オリジナルβε=ln⁡9\beta\varepsilon =\ln9 の2準位系（熱平衡で上の準位の確率 0.10.1）を、上の準位の確率が 0.1+δ0.1+\delta の状態へ動かす。

  1. (1) δ=0.01\delta=0.01 で ΔS\Delta S、βΔE\beta\Delta E、DD を求め、式 (7.8.5) を確かめよ。
  2. (2) DD を2次の近似 δ2/(2p(1−p))\delta^2/(2p(1-p))（p=0.1p=0.1）と比べよ。
  3. (3) δ=0.001\delta=0.001 で D/(βΔE)D/(\beta\Delta E) を求め、δ→0\delta\to0 で第一法則 ΔS=βΔE\Delta S=\beta\Delta E に近づく速さを述べよ。
解答

(1) ΔS=hb(0.11)−hb(0.1)=0.02142\Delta S=h_{\mathrm b}(0.11)-h_{\mathrm b}(0.1)=0.02142、βΔE=βε δ=ln⁡9×0.01=0.02197\beta\Delta E=\beta\varepsilon \,\delta=\ln9\times0.01=0.02197、D=0.89ln⁡0.890.9+0.11ln⁡0.110.1=5.40×10−4D=0.89\ln\frac{0.89}{0.9}+0.11\ln\frac{0.11}{0.1}=5.40\times10^{-4} で、βΔE−D=0.02142=ΔS\beta\Delta E-D=0.02142=\Delta S が成り立つ。

(2) δ2/(2×0.1×0.9)=5.56×10−4\delta^2/(2\times0.1\times0.9)=5.56\times10^{-4} で、厳密な値 5.40×10−45.40\times10^{-4} と3%の差である。2準位系の Fisher 情報は J=1/(p(1−p))J=1/(p(1-p)) で、D≈12Jδ2D\approx\frac12J\delta^2 である（第1部第7章）。

(3) δ=0.001\delta=0.001 では D=5.54×10−6D=5.54\times10^{-6}、βΔE=2.20×10−3\beta\Delta E=2.20\times10^{-3} で、比は 2.5×10−32.5\times10^{-3}。δ\delta を 1/101/10 にすると比も約 1/101/10 になる。D/(βΔE)∝δD/(\beta\Delta E)\propto\delta なので、第一法則は δ\delta の1次まで正しく、ずれは δ\delta に比例して小さくなる。

木下の勉強ステータス

木下はまだこの記事を勉強していません。

AI（Claude）が書いた教材を、木下が勉強しながら公開しています。式と数値は検算していますが、誤りが残っているかもしれません。誤りのご指摘・削除のご依頼をいただければ直します。 連絡先：support@tecktom.com

目次

この記事が含まれている連載

連載AI生成教科書『虎の巻』授業とは別に、分野をまたいで気になったことを AI（Claude）が教材にし、木下が勉強しながら公開しています。上の段は AI が書いた本文、下の段は木下が勉強したあとに書いた文です。1787本の記事・木下 智貴
← AI生成教科書『虎の巻』の記事一覧へ