相対エントロピーから情報と物理を組み立てる 第2部 第1章 §2.1.6 ★★ 統計力学の「系と熱浴」「最も確からしい分布」と、統計学の指数型分布族の最尤推定を、この章の式と並べる
統計力学（1）：系と熱浴
統計力学の授業では、注目する系と大きな熱浴を合わせた全体が孤立していて、全体のエネルギー E t o t E_{\mathrm{tot}} E tot i i i
p ( i ) = W B ( E t o t − E i ) ∑ j W B ( E t o t − E j ) , ln W B ( E t o t − E i ) ≈ ln W B ( E t o t ) − β E i , β ≔ ∂ ln W B ∂ E (2.1.17) p(i)=\frac{W_{\mathrm B}(E_{\mathrm{tot}}-E_i)}{\sum_jW_{\mathrm B}(E_{\mathrm{tot}}-E_j)},\qquad \ln W_{\mathrm B}(E_{\mathrm{tot}}-E_i)\approx\ln W_{\mathrm B}(E_{\mathrm{tot}})-\beta E_i,\quad \beta\coloneqq\frac{\partial \ln W_{\mathrm B}}{\partial E}\tag{2.1.17} p ( i ) = ∑ j W B ( E tot − E j ) W B ( E tot − E i ) , ln W B ( E tot − E i ) ≈ ln W B ( E tot ) − β E i , β : = ∂ E ∂ ln W B ( 2.1.17 )
となり、p ( i ) ∝ e − β E i p(i)\propto\mathrm{e}^{-\beta E_i} p ( i ) ∝ e − β E i 解析力学から様々な理論分野を組み立てる 第3部第3章 ）。例題 2.1.6 の計算はこれの小さい版で、残り2個のサイコロの「和が 12 − k 12-k 12 − k W B W_{\mathrm B} W B 2.1.5 節の条件付き極限定理で結ばれる。授業の導き方では温度は熱浴の ∂ ln W B ∂ E \frac{\partial \ln W_{\mathrm B}}{\partial E} ∂ E ∂ l n W B N → ∞ N\to\infty N → ∞
統計力学（2）：最も確からしい分布
古い教科書や気体分子運動論の授業では、N N N E i E_i E i n i n_i n i N ! / ∏ i n i ! N!/\prod_in_i! N ! / ∏ i n i ! ∑ i n i = N \sum_in_i=N ∑ i n i = N ∑ i n i E i = E \sum_in_iE_i=E ∑ i n i E i = E ln ( N ! / ∏ i n i ! ) ≈ − N ∑ i ( n i / N ) ln ( n i / N ) \ln(N!/\prod_in_i!)\approx-N\sum_i(n_i/N)\ln(n_i/N) ln ( N ! / ∏ i n i !) ≈ − N ∑ i ( n i / N ) ln ( n i / N ) α \alpha α β \beta β
∂ ∂ n i [ − ∑ j n j ln n j N − α ∑ j n j − β ∑ j n j E j ] = 0 ⟹ n i N = e − β E i ∑ j e − β E j \frac{\partial}{\partial n_i}\Bigl[-\sum_jn_j\ln\frac{n_j}{N}-\alpha\sum_jn_j-\beta\sum_jn_jE_j\Bigr]=0\quad\Longrightarrow\quad\frac{n_i}{N}=\frac{\mathrm{e}^{-\beta E_i}}{\sum_j\mathrm{e}^{-\beta E_j}} ∂ n i ∂ [ − j ∑ n j ln N n j − α j ∑ n j − β j ∑ n j E j ] = 0 ⟹ N n i = ∑ j e − β E j e − β E i
となる。これは 2.1.2 節の未定乗数の計算で p ( i ) = n i / N p(i)=n_i/N p ( i ) = n i / N q = u q=u q = u g = E g=E g = E N N N (2.1.15) の頻度の議論）のに対し、最大エントロピー原理は1つの系の確率分布に直接 H H H i i i
統計学：指数型分布族と最尤推定
統計学では、p θ ( x ) = h ( x ) e θ ⋅ T ( x ) − A ( θ ) p_\theta(x)=h(x)\,\mathrm{e}^{\theta\cdot T(x)-A(\theta)} p θ ( x ) = h ( x ) e θ ⋅ T ( x ) − A ( θ ) T ( x ) T(x) T ( x ) A ( θ ) = ln ∑ x h ( x ) e θ ⋅ T ( x ) A(\theta)=\ln\sum_xh(x)\mathrm{e}^{\theta\cdot T(x)} A ( θ ) = ln ∑ x h ( x ) e θ ⋅ T ( x ) (2.1.4) と比べると、h = q h=q h = q T = g T=g T = g θ = − λ \theta=-\lambda θ = − λ A = ln Z q A=\ln Z_q A = ln Z q x 1 , … , x n x_1,\dots,x_n x 1 , … , x n θ \theta θ ∑ i ln p θ ( x i ) \sum_i\ln p_\theta(x_i) ∑ i ln p θ ( x i )
∂ A ∂ θ k ∣ θ ^ = 1 n ∑ i = 1 n T k ( x i ) (2.1.18) \frac{\partial A}{\partial \theta_k}\Big|_{\hat\theta}=\frac1n\sum_{i=1}^nT_k(x_i)\tag{2.1.18} ∂ θ k ∂ A θ ^ = n 1 i = 1 ∑ n T k ( x i ) ( 2.1.18 )
で、「模型の期待値が標本平均に一致する」というモーメントの一致の式になる。左辺は ⟨ T k ⟩ p θ ^ \langle T_k \rangle _{p_{\hat\theta}} ⟨ T k ⟩ p θ ^ g ˉ \bar g g ˉ (2.1.5) そのものである。指数型分布族の最尤推定と、標本平均を拘束にした最小相対エントロピー原理からは、同じ分布が出る。最尤推定を経験分布と模型の D D D 第1部第1章 にある。
例題 2.1.7 Poisson 分布を最大エントロピーで出す ★★
オリジナル 値 n = 0 , 1 , 2 , … n=0,1,2,\dots n = 0 , 1 , 2 , … q ( n ) ∝ 1 / n ! q(n)\propto1/n! q ( n ) ∝ 1/ n ! ⟨ n ⟩ = ν \langle n \rangle =\nu ⟨ n ⟩ = ν
(1) 最小相対エントロピーの分布が Poisson 分布 e − ν ν n / n ! \mathrm{e}^{-\nu}\nu^n/n! e − ν ν n / n ! (2) 参照分布 1 / n ! 1/n! 1/ n ! L L L M M M ℓ \ell ℓ M → ∞ M\to\infty M → ∞ M ℓ / L = ν M\ell/L=\nu M ℓ / L = ν (3) 5回の観測で個数が 2 , 4 , 3 , 1 , 5 2,4,3,1,5 2 , 4 , 3 , 1 , 5 ν \nu ν (2.1.18) から求め、その分布で個数が 0 0 0
解答 (1) 式 (2.1.4) から p ( n ) ∝ 1 n ! e − λ n = ( e − λ ) n n ! p(n)\propto\frac{1}{n!}\mathrm{e}^{-\lambda n}=\frac{(\mathrm{e}^{-\lambda})^n}{n!} p ( n ) ∝ n ! 1 e − λn = n ! ( e − λ ) n ∑ n ( e − λ ) n / n ! = exp ( e − λ ) \sum_n(\mathrm{e}^{-\lambda})^n/n!=\exp(\mathrm{e}^{-\lambda}) ∑ n ( e − λ ) n / n ! = exp ( e − λ ) e − λ \mathrm{e}^{-\lambda} e − λ e − λ = ν \mathrm{e}^{-\lambda}=\nu e − λ = ν p ( n ) = e − ν ν n / n ! p(n)=\mathrm{e}^{-\nu}\nu^n/n! p ( n ) = e − ν ν n / n !
(2) M M M n n n ( M n ) = M ( M − 1 ) ⋯ ( M − n + 1 ) n ! ≈ M n n ! \binom{M}{n}=\frac{M(M-1)\cdots(M-n+1)}{n!}\approx\frac{M^n}{n!} ( n M ) = n ! M ( M − 1 ) ⋯ ( M − n + 1 ) ≈ n ! M n n n n 1 / n ! 1/n! 1/ n ! M n M^n M n M n M^n M n e − λ n \mathrm{e}^{-\lambda n} e − λn n n n 1 / n ! 1/n! 1/ n !
(3) Poisson 分布では T ( n ) = n T(n)=n T ( n ) = n (2.1.18) は ν ^ = ( 2 + 4 + 3 + 1 + 5 ) / 5 = 3 \hat\nu=(2+4+3+1+5)/5=3 ν ^ = ( 2 + 4 + 3 + 1 + 5 ) /5 = 3 0 0 0 e − 3 = 0.0498 \mathrm{e}^{-3}=0.0498 e − 3 = 0.0498 3 3 3 e − 3 3 n / n ! \mathrm{e}^{-3}3^n/n! e − 3 3 n / n !
AI（Claude）が書いた教材を、木下が勉強しながら公開しています。式と数値は検算していますが、誤りが残っているかもしれません。誤りのご指摘・削除のご依頼をいただければ直します。 連絡先：support@tecktom.com
