tecktom.com

この章のまとめ

2026年10月15日9分で読めますAI生成教科書『虎の巻』第2部 第1章 最大エントロピー原理

AI 生成・木下が未勉強

相対エントロピーから情報と物理を組み立てる 第2部 第1章 §2.1.7 ★★★ 拘束を満たす分布を参照分布へ情報射影すると指数型の分布になり、平均エネルギーの拘束でカノニカル分布、その乗数が逆温度になる

最大エントロピー原理は、期待値の拘束を満たす分布のうち Shannon エントロピーが最大のものを予言に使う規則である。この巻の言葉では、拘束を満たす分布 pp と参照分布 qq(何も知らないときの重み)を比べ、D(p ∥ q)D(p\,\|\,q) を最小にする。解は指数型の分布 pλ=q e−λ⋅g/Zqp_\lambda=q\,\mathrm{e}^{-\lambda\cdot g}/Z_q で、拘束を満たす任意の pp について Pythagoras の等式 D(p ∥ q)=D(p ∥ pλ)+D(pλ ∥ q)D(p\,\|\,q)=D(p\,\|\,p_\lambda)+D(p_\lambda\,\|\,q) が成り立つ。DD の非負性から、最小はただ1つである。乗数は ln⁡Z\ln Z の微分で拘束の値と結ばれ、∂Hmax⁡∂gˉ=λ\frac{\partial H_{\max}}{\partial \bar g}=\lambda の Legendre 変換の関係をもつ。

拘束を平均エネルギーに選ぶとカノニカル分布が出て、乗数 β\beta は ∂S∂U=kBβ\frac{\partial S}{\partial U}= k_{\mathrm B}\beta を通して 1/(kBT)1/( k_{\mathrm B} T) と同定される。粒子数を加えるとグランドカノニカル分布、占有数の値の集合を指定すると Fermi 分布と Bose 分布が出る。連続変数では参照測度を明示する必要があり、古典力学では Liouville の定理で保たれる相空間の一様な測度を使う。拘束に何を入れるかは力学の保存量で決まる。最大エントロピーの分布は推論の規則であると同時に、拘束を満たす独立な試行の経験分布が集中する先でもあり(条件付き極限定理)、集中の指数は Pythagoras の等式の D(p ∥ pλ)D(p\,\|\,p_\lambda) である。この極限が、統計力学の授業の「系と熱浴」の導き方と最大エントロピー原理を結ぶ。

次の章(第2部第2章)では、カノニカル分布と任意の分布の自由エネルギーの差 F[p]−F=kBT D(p ∥ pβ)F[p]-F= k_{\mathrm B} T\,D(p\,\|\,p_\beta) から、等温の操作で取り出せる仕事の上限と Gibbs の変分原理を導く。

この章の道具

  • 最小相対エントロピー原理:pME=arg min⁡p∈CD(p ∥ q)p_{\mathrm{ME}}=\operatorname{arg\,min}_{p\in\mathcal C}D(p\,\|\,q)。q=uq=u で最大エントロピー原理。
  • 解:pλ=q e−λ⋅g/Zqp_\lambda=q\,\mathrm{e}^{-\lambda\cdot g}/Z_q、拘束 −∂ln⁡Zq/∂λk=gˉk-\partial\ln Z_q/\partial\lambda_k=\bar g_k、∂2ln⁡Zq\partial^2\ln Z_q は共分散。
  • Pythagoras:p∈Cp\in\mathcal C なら D(p ∥ q)=D(p ∥ pλ)+D(pλ ∥ q)D(p\,\|\,q)=D(p\,\|\,p_\lambda)+D(p_\lambda\,\|\,q)。Hmax⁡=ln⁡Z+λ⋅gˉH_{\max}=\ln Z+\lambda\cdot\bar g、∂Hmax⁡/∂gˉk=λk\partial H_{\max}/\partial\bar g_k=\lambda_k。
  • 平均エネルギーの拘束 → e−βEi/Z\mathrm{e}^{-\beta E_i}/Z、S=kB(ln⁡Z+βU)S= k_{\mathrm B}(\ln Z+\beta U)、∂S/∂U=kBβ\partial S/\partial U= k_{\mathrm B}\beta。和だけを知っていれば乗数は共通(温度の等しさ)。
  • 集中:拘束のもとで経験分布 PP の確率は e−ND(P ∥ pλ)\mathrm{e}^{-ND(P\,\|\,p_\lambda)} の比で抑えられ、1個の条件付き分布は N→∞N\to\infty で pλp_\lambda。

総合問題 3準位系の最大エントロピーと、その裏付けの数え上げ ★★★

オリジナルエネルギー 0,ε,2ε0,\varepsilon ,2\varepsilon の3つの状態をとる系がある。状態を k=0,1,2k=0,1,2 と番号付けし、分布は (p(0),p(1),p(2))(p(0),p(1),p(2)) の順に書く。参照分布は一様分布 uu とする。

  1. (1) (使う道具:2.1.2節・2.1.3節)平均エネルギーが U=47εU=\frac47\varepsilon と分かっている。最大エントロピーの分布 pβp_\beta と βε\beta\varepsilon、H(pβ)H(p_\beta) を求めよ。
  2. (2) (使う道具:2.1.2節の Pythagoras の等式・第1部第1章 の自由エネルギーの余り)同じ平均エネルギーをもつ分布 p=(37,47,0)p=(\frac37,\frac47,0) について、D(p ∥ u)=D(p ∥ pβ)+D(pβ ∥ u)D(p\,\|\,u)=D(p\,\|\,p_\beta)+D(p_\beta\,\|\,u) を数値で確かめよ。系が温度 T=1/(kBβ)T=1/( k_{\mathrm B}\beta) の熱浴と接しているとき、pp の自由エネルギーは pβp_\beta の自由エネルギーよりいくら大きいか。
  3. (3) (使う道具:2.1.3節の熱的な接触)この系 A に、エネルギー 0,ε0,\varepsilon の2準位系 B をエネルギーのやりとりができるように接触させ、合計の平均エネルギーが 1921ε\frac{19}{21}\varepsilon であることだけが分かったとする。最大エントロピーの分布を求め、A と B の平均エネルギーをそれぞれ求めよ。
  4. (4) (使う道具:2.1.5節の条件付き極限定理・2.1.6節の系と熱浴・第1部第8章 の Sanov の定理(結果だけ))A と同じ3準位系を7個並べ、全体のエネルギーがちょうど 4ε4\varepsilon であることだけが分かっていて、全体の状態はその殻の上で一様に分布しているとする。1個目の系の状態の分布を数え上げで求め、(1) の pβp_\beta と比べよ。
  5. (5) (使う道具:2.1.3節)ε=25 meV\varepsilon =25\,\mathrm{meV} のとき、(1) の分布に対応する温度 TT と、系1個あたりの熱力学のエントロピー S=kBH(pβ)S= k_{\mathrm B} H(p_\beta) を求めよ。
解答

(1) x=e−βεx=\mathrm{e}^{-\beta\varepsilon } とおくと pβ=(1,x,x2)/(1+x+x2)p_\beta=(1,x,x^2)/(1+x+x^2) で、平均は ε(x+2x2)/(1+x+x2)=47ε\varepsilon (x+2x^2)/(1+x+x^2)=\frac47\varepsilon。分母を払って 7x+14x2=4+4x+4x27x+14x^2=4+4x+4x^2、すなわち 10x2+3x−4=010x^2+3x-4=0 で、正の解は x=12x=\frac12。よって βε=ln⁡2\beta\varepsilon =\ln2、pβ=(4,2,1)7p_\beta=\frac{(4,2,1)}{7}。H(pβ)=ln⁡7−4ln⁡4+2ln⁡27=ln⁡7−107ln⁡2=0.9557H(p_\beta)=\ln7-\frac{4\ln4+2\ln2}{7}=\ln7-\frac{10}{7}\ln2=0.9557 nat。

(2) pp の平均は 47⋅ε\frac47\cdot\varepsilon で、拘束を満たす。D(p ∥ u)=ln⁡3−H(p)=1.0986−0.6829=0.4157D(p\,\|\,u)=\ln3-H(p)=1.0986-0.6829=0.4157。D(pβ ∥ u)=ln⁡3−0.9557=0.1429D(p_\beta\,\|\,u)=\ln3-0.9557=0.1429。D(p ∥ pβ)=37ln⁡3/74/7+47ln⁡4/72/7=37ln⁡34+47ln⁡2=0.2728D(p\,\|\,p_\beta)=\frac37\ln\frac{3/7}{4/7}+\frac47\ln\frac{4/7}{2/7}=\frac37\ln\frac34+\frac47\ln2=0.2728。和は 0.2728+0.1429=0.41570.2728+0.1429=0.4157 で一致する。第1部第1章の F[p]−Feq=kBT D(p ∥ peq)F[p]-F_{\mathrm{eq}}= k_{\mathrm B} T\,D(p\,\|\,p_{\mathrm{eq}}) から、pp の自由エネルギーは kBT×0.2728k_{\mathrm B} T\times0.2728 だけ大きい。平均エネルギーは同じなので、この差はエントロピーの差の TT 倍 T(S(pβ)−S(p))=kBT(0.9557−0.6829)T\bigl(S(p_\beta)-S(p)\bigr)= k_{\mathrm B} T(0.9557-0.6829) に等しく、値も一致する。

(3) 拘束は合計の平均1つなので、乗数は1つで p(k,j)∝xkxjp(k,j)\propto x^kx^j(j=0,1j=0,1 は B の状態)。A と B の平均はそれぞれ ε(x+2x2)/(1+x+x2)\varepsilon (x+2x^2)/(1+x+x^2) と εx/(1+x)\varepsilon x/(1+x) で、その和が 1921ε\frac{19}{21}\varepsilon。x=12x=\frac12 で 47+13=12+721=1921\frac47+\frac13=\frac{12+7}{21}=\frac{19}{21} が成り立ち、和は xx について単調に増えるので解はこれだけである。よって βε=ln⁡2\beta\varepsilon =\ln2 で、A の平均エネルギーは 47ε\frac47\varepsilon、B は 13ε\frac13\varepsilon。分布は p(k,j)=pβA(k) pβB(j)p(k,j)=p^{\mathrm A}_\beta(k)\,p^{\mathrm B}_\beta(j) と積に分かれ、2つの系の β\beta は共通である。エネルギーは等分されず、温度が等しくなる。

(4) 1個目が状態 kk のとき、残り6個のエネルギーの和は (4−k)ε(4-k)\varepsilon。6個がそれぞれ 0,1,20,1,2 をとって和が ss になる場合の数を、値 22 をとる系の個数 jj で分けて数えるとs=4s=4:j=0j=0 で (64)=15\binom64=15、j=1j=1 で 6(52)=606\binom52=60、j=2j=2 で (62)=15\binom62=15、計 9090。s=3s=3:j=0j=0 で (63)=20\binom63=20、j=1j=1 で 6×5=306\times5=30、計 5050。s=2s=2:j=0j=0 で (62)=15\binom62=15、j=1j=1 で 66、計 2121。殻の上で一様なので、1個目の分布は (90,50,21)/161=(0.5590, 0.3106, 0.1304)(90,50,21)/161=(0.5590,\ 0.3106,\ 0.1304)。pβ=(0.5714, 0.2857, 0.1429)p_\beta=(0.5714,\ 0.2857,\ 0.1429) と比べて差は 0.020.02 程度で、D(1個目の分布 ∥ pβ)=1.74×10−3D(\text{1個目の分布}\,\|\,p_\beta)=1.74\times10^{-3} nat である。同じ比率で14個(全体 8ε8\varepsilon)、28個(全体 16ε16\varepsilon)に増やすと、DD は 4.28×10−44.28\times10^{-4}、1.03×10−41.03\times10^{-4} と、個数が2倍になるごとにおよそ 1/41/4 になる。全体のミクロカノニカル分布から出した1個の系の分布が、平均エネルギーだけを知った最大エントロピーの分布に近づいていくことが、条件付き極限定理の具体例である。

(5) kB=8.617×10−5 eV K−1k_{\mathrm B}=8.617\times10^{-5}\,\mathrm{eV\,K^{-1}} から T=ε/(kBln⁡2)=0.025/(8.617×10−5×0.6931) K=419 KT=\varepsilon /( k_{\mathrm B}\ln2)=0.025/(8.617\times10^{-5}\times0.6931)\,\mathrm K=419\,\mathrm K。S=kB×0.9557=1.319×10−23 J K−1S= k_{\mathrm B}\times0.9557=1.319\times10^{-23}\,\mathrm{J\,K^{-1}}(1 mol あたり 7.95 J K−1 mol−17.95\,\mathrm{J\,K^{-1}\,mol^{-1}})。

木下の勉強ステータス

木下はまだこの記事を勉強していません。

AI(Claude)が書いた教材を、木下が勉強しながら公開しています。式と数値は検算していますが、誤りが残っているかもしれません。誤りのご指摘・削除のご依頼をいただければ直します。 連絡先:support@tecktom.com

← AI生成教科書『虎の巻』の記事一覧へ