tecktom.com

この章のまとめ

2026年10月15日10分で読めますAI生成教科書『虎の巻』第1部 第1章 序章:何と何を比べたのか

AI 生成・木下が未勉強

相対エントロピーから情報と物理を組み立てる 第1部 第1章 §1.1.7 ★★★ 比べる2つの分布を選び、非負性とデータ処理不等式を当てる、という手順で巻全体が組まれている

この巻は、情報理論・統計学・統計力学・量子情報・情報熱力学を、「どの2つの分布(状態)を比べたか」と「DD のどの性質を当てたか」に分けて読む。相対エントロピー D(p ∥ q)D(p\,\|\,q) は、pp が正しいときに qq と見分ける手がかりの観測1回あたりの平均で、2つの向きで値が違う。当てる性質は2つで、非負性 D≥0D\ge0 は ln⁡x≤x−1\ln x\le x-1 から、データ処理不等式 D(Wp ∥ Wq)≤D(p ∥ q)D(Wp\,\|\,Wq)\le D(p\,\|\,q) は log-sum 不等式から、それぞれ数行で出る。

比べる相手を選ぶと、各分野の基本量が出てくる。一様分布と比べると Shannon エントロピー、独立な分布と比べると相互情報量、少しずらした分布と比べると Fisher 情報、経験分布と模型を比べると最尤推定になる。Gibbs 分布と比べると、自由エネルギーの余りが kBT D(p ∥ peq)k_{\mathrm B} T\,D(p\,\|\,p_{\mathrm{eq}}) に等しく、非負性から自由エネルギー最小の原理が出る。熱浴と接した緩和を Gibbs 分布を動かさない確率行列で書くと、データ処理不等式から自由エネルギーが減り続けることが出る。第二法則はデータ処理不等式の1つの姿である、という巻の主張の最小の形がこれである。

次の章(第1部第2章)からは、これらを1つずつ正確に作る。第2章で Shannon エントロピーを驚きの平均として導入し、長い系列で典型集合に確率が集まることを示す。第3章で DD と相互情報量の性質を整え、第4章でデータ処理不等式と十分統計量を扱う。

この章で先に使った道具

  • 相対エントロピー D(p ∥ q)=∑xp(x)ln⁡p(x)q(x)=⟨ln⁡p(X)q(X)⟩pD(p\,\|\,q)=\sum_xp(x)\ln\frac{p(x)}{q(x)}=\langle \ln\frac{p(X)}{q(X)} \rangle _p(nat)。非対称。
  • 非負性:D(p ∥ q)≥0D(p\,\|\,q)\ge0、等号は p=qp=q のときだけ。
  • データ処理不等式:確率行列 WW について D(Wp ∥ Wq)≤D(p ∥ q)D(Wp\,\|\,Wq)\le D(p\,\|\,q)。
  • H(X)=ln⁡∣X∣−D(p ∥ u)H(X)=\ln\lvert \mathcal X\rvert -D(p\,\|\,u)、I(X;Y)=D(pXY ∥ pXpY)I(X;Y)=D(p_{XY}\,\|\,p_Xp_Y)、D(pθ ∥ pθ+δ)≈12J(θ)δ2D(p_\theta\,\|\,p_{\theta+\delta})\approx\frac12J(\theta)\delta^2。
  • F[p]−Feq=kBT D(p ∥ peq)F[p]-F_{\mathrm{eq}}= k_{\mathrm B} T\,D(p\,\|\,p_{\mathrm{eq}})。Wpeq=peqWp_{\mathrm{eq}}=p_{\mathrm{eq}} なら D(pt ∥ peq)D(p_t\,\|\,p_{\mathrm{eq}}) は減り続ける(第二法則)。

総合問題 2準位系の緩和を情報で通して読む ★★★

オリジナルエネルギー 00 の基底状態 g とエネルギー ε\varepsilon の励起状態 e をとる系が温度 TT の熱浴と接している。ε=kBTln⁡3\varepsilon = k_{\mathrm B} T\ln3 とする。分布は (p(g),p(e))(p(\mathrm g),p(\mathrm e)) の順に書く。

  1. (1) (使う道具:1.1.4節の Gibbs の変分原理・1.1.1節の定義)Gibbs 分布 peqp_{\mathrm{eq}} を求めよ。励起状態に確実にいる分布 p0=(0,1)p_0=(0,1) について、F[p0]−FeqF[p_0]-F_{\mathrm{eq}} を式 (1.1.10) と式 (1.1.9) から直接計算し、kBT D(p0 ∥ peq)k_{\mathrm B} T\,D(p_0\,\|\,p_{\mathrm{eq}}) と一致することを確かめよ。
  2. (2) (使う道具:1.1.2節のデータ処理不等式・1.1.4節の緩和)1ステップの時間発展を、g から e へ確率 a=1/6a=1/6、e から g へ確率 b=1/2b=1/2 で飛び移る確率行列

W=(1−aba1−b)W=\begin{pmatrix}1-a&b\\a&1-b\end{pmatrix}

で書く。Wpeq=peqWp_{\mathrm{eq}}=p_{\mathrm{eq}} を確かめ、pt=Wtp0p_t=W^tp_0 と D(pt ∥ peq)D(p_t\,\|\,p_{\mathrm{eq}}) を t=1,2,3t=1,2,3 について求めて、DD が減り続けることを確かめよ。3. (3) (使う道具:1.1.3節の Fisher 情報)励起状態の確率のずれ δt=pt(e)−14\delta_t=p_t(\mathrm e)-\frac14 が δt=34(13)t\delta_t=\frac34\bigl(\frac13\bigr)^t となることを示せ。さらに、δt\delta_t が小さいとき D(pt ∥ peq)≈12Jδt2D(p_t\,\|\,p_{\mathrm{eq}})\approx\frac12J\delta_t^2(JJ は硬貨の族の Fisher 情報を θ=14\theta=\frac14 で評価したもの)となることを使って、DD が1ステップごとにおよそ 1/91/9 倍になることを示せ。4. (4) (使う道具:1.1.5節の単位・1.1.4節の自由エネルギーの余り)D(p0 ∥ peq)D(p_0\,\|\,p_{\mathrm{eq}}) をビットで表せ。T=300 KT=300\,\mathrm K で、ε\varepsilon と、p0p_0 から等温で取り出せる仕事の上限 F[p0]−FeqF[p_0]-F_{\mathrm{eq}} を eV で求めよ。5. (5) (使う道具:1.1.2節・1.1.4節)最初の1ステップで失われた DD をビットで求め、それが熱力学では何にあたるかを述べよ。

解答

(1) e−βε=e−ln⁡3=1/3\mathrm{e}^{-\beta\varepsilon }=\mathrm{e}^{-\ln3}=1/3 なので Z=1+13=43Z=1+\frac13=\frac43、peq=(34,14)p_{\mathrm{eq}}=\bigl(\frac34,\frac14\bigr)、Feq=−kBTln⁡43F_{\mathrm{eq}}=- k_{\mathrm B} T\ln\frac43。p0p_0 では平均エネルギーが ε\varepsilon、H(p0)=0H(p_0)=0 なので F[p0]=ε=kBTln⁡3F[p_0]=\varepsilon = k_{\mathrm B} T\ln3。よって

F[p0]−Feq=kBT(ln⁡3+ln⁡43)=kBTln⁡4.F[p_0]-F_{\mathrm{eq}}= k_{\mathrm B} T\Bigl(\ln3+\ln\frac43\Bigr)= k_{\mathrm B} T\ln4 .

一方 D(p0 ∥ peq)=1×ln⁡11/4=ln⁡4D(p_0\,\|\,p_{\mathrm{eq}})=1\times\ln\frac{1}{1/4}=\ln4 で、式 (1.1.11) のとおり一致する。

(2) WpeqWp_{\mathrm{eq}} の第1成分は 56⋅34+12⋅14=58+18=34\frac56\cdot\frac34+\frac12\cdot\frac14=\frac58+\frac18=\frac34、第2成分は 16⋅34+12⋅14=18+18=14\frac16\cdot\frac34+\frac12\cdot\frac14=\frac18+\frac18=\frac14 で、peqp_{\mathrm{eq}} は動かない。g から e へ移る確率の流れ a peq(g)=18a\,p_{\mathrm{eq}}(\mathrm g)=\frac18 と、e から g へ移る流れ b peq(e)=18b\,p_{\mathrm{eq}}(\mathrm e)=\frac18 が釣り合っている(詳細つり合い)。順に掛けると

p1=(12,12),p2=(23,13),p3=(1318,518).p_1=\Bigl(\frac12,\frac12\Bigr),\qquad p_2=\Bigl(\frac23,\frac13\Bigr),\qquad p_3=\Bigl(\frac{13}{18},\frac{5}{18}\Bigr).

相対エントロピーは

D(p1 ∥ peq)=12ln⁡1/23/4+12ln⁡1/21/4=12ln⁡43≈0.1438,D(p_1\,\|\,p_{\mathrm{eq}})=\frac12\ln\frac{1/2}{3/4}+\frac12\ln\frac{1/2}{1/4}=\frac12\ln\frac43\approx0.1438,

D(p2 ∥ peq)=23ln⁡89+13ln⁡43≈0.01737D(p_2\,\|\,p_{\mathrm{eq}})=\frac23\ln\frac89+\frac13\ln\frac43\approx0.01737、D(p3 ∥ peq)≈0.002010D(p_3\,\|\,p_{\mathrm{eq}})\approx0.002010 で、D(p0 ∥ peq)=ln⁡4≈1.386D(p_0\,\|\,p_{\mathrm{eq}})=\ln4\approx1.386 から減り続ける。これは式 (1.1.12) の具体例で、各ステップで自由エネルギー F[pt]=Feq+kBT D(pt ∥ peq)F[p_t]=F_{\mathrm{eq}}+ k_{\mathrm B} T\,D(p_t\,\|\,p_{\mathrm{eq}}) も減り続ける。

(3) pt+1(e)=a pt(g)+(1−b) pt(e)=a+(1−a−b) pt(e)p_{t+1}(\mathrm e)=a\,p_t(\mathrm g)+(1-b)\,p_t(\mathrm e)=a+(1-a-b)\,p_t(\mathrm e) で、peq(e)=14p_{\mathrm{eq}}(\mathrm e)=\frac14 も同じ式を満たすので、引き算して δt+1=(1−a−b) δt=13δt\delta_{t+1}=(1-a-b)\,\delta_t=\frac13\delta_t。δ0=1−14=34\delta_0=1-\frac14=\frac34 から δt=34(13)t\delta_t=\frac34\bigl(\frac13\bigr)^t。13\frac13 は WW の 11 でない方の固有値である。例題 1.1.3(2) の J(θ)=1/(θ(1−θ))J(\theta)=1/(\theta(1-\theta)) を θ=14\theta=\frac14 で評価すると J=163J=\frac{16}{3} で、D(pt ∥ peq)≈12Jδt2=83δt2D(p_t\,\|\,p_{\mathrm{eq}})\approx\frac12J\delta_t^2=\frac83\delta_t^2。δt\delta_t が毎ステップ 13\frac13 倍になるので、DD はおよそ 19\frac19 倍ずつ減る。実際、t=2,3t=2,3 で近似値は 0.018520.01852, 0.0020580.002058、厳密値は 0.017370.01737, 0.0020100.002010 で、比は 1.0661.066, 1.0241.024 と 11 に近づく。t=3t=3 から t=4t=4 への比は 0.1130.113 で 19≈0.111\frac19\approx0.111 に近い。

(4) D(p0 ∥ peq)=ln⁡4=2ln⁡2D(p_0\,\|\,p_{\mathrm{eq}})=\ln4=2\ln2 なので、ちょうど 2 ビットである。T=300 KT=300\,\mathrm K で kBT=4.14×10−21 J=0.02585 eVk_{\mathrm B} T=4.14\times10^{-21}\,\mathrm J=0.02585\,\mathrm{eV} なので、ε=kBTln⁡3≈0.0284 eV\varepsilon = k_{\mathrm B} T\ln3\approx0.0284\,\mathrm{eV}、取り出せる仕事の上限は kBTln⁡4≈5.74×10−21 J≈0.0358 eVk_{\mathrm B} T\ln4\approx5.74\times10^{-21}\,\mathrm J\approx0.0358\,\mathrm{eV} である。上限が ε\varepsilon より大きいのは、励起状態に確実にいるという知識(2 ビット)の分の kBTln⁡43k_{\mathrm B} T\ln\frac43 が、エネルギーに上乗せされているからである。

(5) D(p0 ∥ peq)−D(p1 ∥ peq)=ln⁡4−12ln⁡43≈1.242D(p_0\,\|\,p_{\mathrm{eq}})-D(p_1\,\|\,p_{\mathrm{eq}})=\ln4-\frac12\ln\frac43\approx1.242 nat ≈1.79\approx1.79 ビット。式 (1.1.11) から、これに kBTk_{\mathrm B} T を掛けた kBT×1.242k_{\mathrm B} T\times1.242 が最初の1ステップで減った自由エネルギーで、熱浴へ流れた熱 QoutQ_{\mathrm{out}} と系のエントロピーの変化を使うと、系と熱浴を合わせたエントロピーの増加 ΔS系+Qout/T\Delta S_{\mathrm{系}}+Q_{\mathrm{out}}/T に TT を掛けたものに等しい。仕事を取り出さずに緩和させたので、取り出せたはずの仕事のうち kBT×1.242k_{\mathrm B} T\times1.242 がこの1ステップで失われ、系と熱浴を合わせたエントロピーが kB×1.242k_{\mathrm B}\times1.242 だけ増えた。この「失われた DD = 生じたエントロピー」という読み方を、1本1本の経路の確率の言葉で精密にしたものが 第4部第3章 のエントロピー生成である。

木下の勉強ステータス

木下はまだこの記事を勉強していません。

AI(Claude)が書いた教材を、木下が勉強しながら公開しています。式と数値は検算していますが、誤りが残っているかもしれません。誤りのご指摘・削除のご依頼をいただければ直します。 連絡先:support@tecktom.com

← AI生成教科書『虎の巻』の記事一覧へ