tecktom.com

この章のまとめ

2026年10月15日9分で読めますAI生成教科書『虎の巻』第1部 第8章 大偏差・Sanov・Stein の補題

AI 生成・木下が未勉強

相対エントロピーから情報と物理を組み立てる 第1部 第8章 §1.8.7 ★★★ D(p∥q)D(p\|q) は「qq の世界で pp が見える確率の指数」。統計力学のエントロピーと検定の誤りの速さが同じ式から出る

この章では、観測した系列の経験分布 pp と、系列が従う真の分布 qq を比べた。系列の確率は型だけで決まり、型の個数は多項式個しかないので、型のクラスの確率は e−nD(p∥q)\mathrm{e}^{-nD(p\|q)} と指数の係数で一致した(定理 1.8.2)。これを集合に広げたものが Sanov の定理(定理 1.8.3)で、めったに起きないことは EE の中で qq に DD の意味で最も近い分布 p∗p^*(I 射影)を通じて起きる。平均を決めた集合では、傾きの恒等式(補題 1.8.5)から I 射影が指数型の分布になり、指数は対数積率母関数の Legendre 変換 Λ∗\Lambda^* になった(Cramér の定理、定理 1.8.6)。Pythagoras の不等式を使うと、めったに起きないことが起きた世界では経験分布が p∗p^* に集まり、1個の標本は p∗p^* に従う(定理 1.8.7)。エネルギーを条件にとれば p∗p^* は Gibbs 分布で、微視的カノニカルからカノニカルが出る理由になる。最後に、2つの仮説を見分ける検定で、第2種の誤りの指数が D(p0∥p1)D(p_0\|p_1) になること(Stein の補題、定理 1.8.8)を、達成は大数の法則で、逆はデータ処理不等式で示した。

第1部で見た相対エントロピーの意味は、これで3つそろった。第1部第5章 では符号長の損失、第1部第7章 では推定の精度(Fisher 情報)、この章では確率の指数である。第2部では、この章の 1.8.4節と 1.8.6節の対応を出発点に、統計力学全体を DD で読み直す。

総合問題 2準位原子の集まりで温度を見分ける ★★★

オリジナルエネルギー 00 と ε0\varepsilon _0 の2つの状態をとる原子 nn 個が互いに独立にふるまう。温度 β\beta のカノニカル分布では、1個の原子が励起状態にある確率はa(β)=1/(1+eβε0)a(\beta)=1/(1+\mathrm{e}^{\beta\varepsilon _0}) である。以下、βε0\beta\varepsilon _0 を無次元の数として扱う。

  1. (1) 状態を一様に重みづけた(β=0\beta=0 の)原子 nn 個で、励起している原子の割合がおよそ xx(0<x<120<x<\frac12)になる確率の指数 Λ∗(x)\Lambda^*(x) を求めよ。また1原子あたりのエントロピー s(x)=ln⁡2−Λ∗(x)s(x)=\ln2-\Lambda^*(x) が hb(x)h_{\mathrm b}(x) になることを示せ。(使う道具:1.8.3節・1.8.6節)
  2. (2) 励起している割合が x=0.2x=0.2 だと分かったとき、1個の原子の状態の分布はどうなるか。それを温度 β\beta のカノニカル分布とみなしたときの βε0\beta\varepsilon _0 を求めよ。(使う道具:1.8.4節)
  3. (3) 温度が β0\beta_0 か β1\beta_1 かを、nn 個の原子の状態を測って見分ける。Stein の補題の指数 D(pβ0∥pβ1)D(p_{\beta_0}\|p_{\beta_1}) が

D(pβ0∥pβ1)=(β1−β0)U(β0)+ln⁡Z1(β1)−ln⁡Z1(β0)D(p_{\beta_0}\|p_{\beta_1})=(\beta_1-\beta_0)U(\beta_0)+\ln Z_1(\beta_1)-\ln Z_1(\beta_0)

と書けることを示せ。U(β)=ε0a(β)U(\beta)=\varepsilon _0a(\beta) は1原子の平均エネルギー、Z1(β)=1+e−βε0Z_1(\beta)=1+\mathrm{e}^{-\beta\varepsilon _0} である。β0ε0=1\beta_0\varepsilon _0=1、β1ε0=1.2\beta_1\varepsilon _0=1.2 で値を求めよ。(使う道具:1.8.5節・第1部第3章)4. (4) β1=β0+δ\beta_1=\beta_0+\delta として (3) の指数を δ\delta の2次まで展開し、第1部第7章 の Fisher 情報 J(β0)J(\beta_0) がエネルギーの分散 ε02a(1−a)\varepsilon _0^2a(1-a) に等しいことを確かめよ。(3) の数値と比べよ。(使う道具:第1部第7章)5. (5) αn\alpha_n を小さく固定し、βn≈10−3\beta_n\approx10^{-3} で見分けるのに要る原子の数を、(3) の厳密な指数と (4) の2次の近似の両方で見積もれ。(使う道具:1.8.5節)

解答

(1) ff を「励起なら 11、基底なら 00」とすると、β=0\beta=0 の分布は q=(12,12)q=(\frac12,\frac12) で Λ(λ)=ln⁡1+eλ2\Lambda(\lambda)=\ln\frac{1+\mathrm{e}^\lambda}{2}。Λ′(λ∗)=x\Lambda'(\lambda^*)=x から eλ∗=x1−x\mathrm{e}^{\lambda^*}=\frac{x}{1-x} で、Λ∗(x)=xln⁡x1−x−ln⁡12(1−x)=xln⁡x+(1−x)ln⁡(1−x)+ln⁡2=ln⁡2−hb(x)\Lambda^*(x)=x\ln\frac{x}{1-x}-\ln\frac{1}{2(1-x)}=x\ln x+(1-x)\ln(1-x)+\ln2=\ln2-h_{\mathrm b}(x)。したがって s(x)=ln⁡2−Λ∗(x)=hb(x)s(x)=\ln2-\Lambda^*(x)=h_{\mathrm b}(x)。これは nn 個中 nxnx 個が励起する状態数 (nnx)\binom{n}{nx} の対数を nn で割った極限で、Stirling の公式から出る結果と一致する。

(2) 条件付き極限定理から、1個の原子は I 射影 qλ∗=(1−x, x)=(0.8, 0.2)q_{\lambda^*}=(1-x,\,x)=(0.8,\,0.2) に従う。カノニカル分布とみなすとa1−a=e−βε0=0.20.8\frac{a}{1-a}=\mathrm{e}^{-\beta\varepsilon _0}=\frac{0.2}{0.8} なので βε0=ln⁡4=1.386\beta\varepsilon _0=\ln4=1.386。これは 1.8.6節の β=∂s∂u\beta=\frac{\partial s}{\partial u} を (1) の s=hb(x)s=h_{\mathrm b}(x)(u=ε0xu=\varepsilon _0x)で計算したε0β=hb′(x)=ln⁡1−xx\varepsilon _0\beta=h_{\mathrm b}'(x)=\ln\frac{1-x}{x} と同じである。

(3) 原子の状態を x∈{0,1}x\in\{0,1\}、エネルギーを ε(x)=ε0x\varepsilon (x)=\varepsilon _0x と書くと、pβ(x)=e−βε(x)/Z1(β)p_\beta(x)=\mathrm{e}^{-\beta\varepsilon (x)}/Z_1(\beta) なので ln⁡pβ0(x)pβ1(x)=(β1−β0)ε(x)+ln⁡Z1(β1)−ln⁡Z1(β0)\ln\frac{p_{\beta_0}(x)}{p_{\beta_1}(x)}=(\beta_1-\beta_0)\varepsilon (x)+\ln Z_1(\beta_1)-\ln Z_1(\beta_0)。これを pβ0p_{\beta_0} で平均すると ⟨ε⟩pβ0=U(β0)\langle \varepsilon \rangle _{p_{\beta_0}}=U(\beta_0) なので、示すべき式を得る。数値は a(β0)=1/(1+e)=0.269a(\beta_0)=1/(1+\mathrm{e})=0.269、ln⁡Z1(1.2)−ln⁡Z1(1)=ln⁡1+e−1.21+e−1=−0.0500\ln Z_1(1.2)-\ln Z_1(1)=\ln\frac{1+\mathrm{e}^{-1.2}}{1+\mathrm{e}^{-1}}=-0.0500 で、D=0.2×0.269−0.0500=0.00381D=0.2\times0.269-0.0500=0.00381。この式は第2部で示す自由エネルギーの差と DD の関係(第2部第2章)の、2つの温度の間の版になっている。

(4) ϕ(β)=ln⁡Z1(β)\phi(\beta)=\ln Z_1(\beta) とおくと ϕ′(β)=−U(β)\phi'(\beta)=-U(\beta)、ϕ′′(β)=Varβ(ε)=ε02a(1−a)\phi''(\beta)=\mathrm{Var}_\beta(\varepsilon )=\varepsilon _0^2a(1-a)。ϕ(β0+δ)=ϕ(β0)−Uδ+12ϕ′′δ2+O(δ3)\phi(\beta_0+\delta)=\phi(\beta_0)-U\delta+\frac12\phi''\delta^2+\mathcal{O}(\delta^3) を (3) に入れると、1次の項は打ち消し合いD=12ε02a(1−a)δ2+O(δ3)D=\frac12\varepsilon _0^2a(1-a)\delta^2+\mathcal{O}(\delta^3)。Fisher 情報は J(β)=⟨(∂βln⁡pβ)2⟩=⟨(U−ε)2⟩pβ=Varβ(ε)J(\beta)=\langle (\partial_\beta\ln p_\beta)^2 \rangle =\langle (U-\varepsilon )^2 \rangle _{p_\beta}=\mathrm{Var}_\beta(\varepsilon ) なので、展開は 12J(β0)δ2\frac12J(\beta_0)\delta^2 の形をしている。数値は J=0.269×0.731=0.197J=0.269\times0.731=0.197(ε02\varepsilon _0^2 単位)、δε0=0.2\delta\varepsilon _0=0.2 で 12Jδ2=0.00393\frac12J\delta^2=0.00393。厳密な 0.003810.00381 より 3%3\% 大きく、差は δ3\delta^3 の項に由来する。

(5) n≈ln⁡1000/Dn\approx\ln1000/D で、厳密な指数からは 6.91/0.00381=1.81×1036.91/0.00381=1.81\times10^3 個、2次の近似からは 6.91/0.00393=1.76×1036.91/0.00393=1.76\times10^3 個。温度が 20%20\% 違うだけでも、見分けるのに約 18001800 個の原子を測る必要がある。図 1.8.4 のとおり有限の nn では指数が DD より小さいので、実際にはこれより多く要る。

木下の勉強ステータス

木下はまだこの記事を勉強していません。

AI(Claude)が書いた教材を、木下が勉強しながら公開しています。式と数値は検算していますが、誤りが残っているかもしれません。誤りのご指摘・削除のご依頼をいただければ直します。 連絡先:support@tecktom.com

← AI生成教科書『虎の巻』の記事一覧へ