比べる2つの分布：任意の分布と Gibbs 分布

相対エントロピーから情報と物理を組み立てる　第2部 第2章 §2.2.1　★★★ 比べる相手を Gibbs 分布に選ぶと、相対エントロピーに $k_{\mathrm B} T$ を掛けたものが自由エネルギーの余りになる。大正準・量子でも同じ形

前の章（第2部第1章）では、平均エネルギーだけが分かっているときに最も偏りの少ない分布として Gibbs 分布を選んだ。そこでは平均エネルギーを決めてエントロピーを最大にした。この章では向きを変え、温度を決めて自由エネルギーを最小にする。序章（第1部第1章）で示したとおり、任意の分布 $p$ について

$$F[p]-F_{\mathrm{eq}}= k_{\mathrm B} T\,D(p\,\|\,p_{\mathrm{eq}})\ge0$$

が成り立ち、自由エネルギーは Gibbs 分布でただ1つの最小値をとる。これが Gibbs の変分原理である。この章では、この1本の式から何が引き出せるかを順に確かめる。

2.2.1節では、比べる2つの分布を整理し、粒子数が出入りする系（大正準）と量子系へ式を広げる。2.2.2節では、相対エントロピーの凸性と、Gibbs 分布の族に対して成り立つ Pythagoras の分解を示す。この分解によって、前の章の最大エントロピー原理とこの章の自由エネルギー最小の原理が、1つの恒等式の2つの項として並ぶ。2.2.3節から2.2.5節は出てくるものである。2.2.3節では、自由エネルギーの余り $k_{\mathrm B} T\,D$ が熱浴と接した系から取り出せる仕事の上限であることを示し、上限に達する操作を具体的に作る。2.2.4節では、試す分布を独立な分布に限ると平均場近似になり、その誤差が $k_{\mathrm B} T$ と相対エントロピーの積で測れることを示す。2.2.5節では、温度の違う2つの Gibbs 分布の相対エントロピーを計算し、その2次の係数が熱容量であることを示す。2.2.6節で統計力学の授業で習う Gibbs–Bogoliubov の不等式・Weiss の平均場・Landau の展開との対応を並べ、2.2.7節でまとめる。この章ではエントロピーの対数を自然対数とし、$k_{\mathrm B} H(p)$ を Gibbs のエントロピーとして使う。

非平衡の自由エネルギー

温度 $T$ の熱浴と接した系が、エネルギー $E_i$ の状態 $i$ をとるとする。$\beta=1/( k_{\mathrm B} T)$ とおき、Gibbs 分布と平衡の自由エネルギーを

$$p_{\mathrm{eq}}(i)=\frac{\mathrm{e}^{-\beta E_i}}{Z},\qquad Z=\sum_i\mathrm{e}^{-\beta E_i},\qquad F_{\mathrm{eq}}=- k_{\mathrm B} T\ln Z\tag{2.2.1}$$

と書く。平衡でない任意の分布 $p$ についても、平均エネルギーと Gibbs のエントロピーから

$$F[p]=\langle E \rangle _p- k_{\mathrm B} T\,H(p),\qquad \langle E \rangle _p=\sum_ip(i)E_i,\qquad H(p)=-\sum_ip(i)\ln p(i)\tag{2.2.2}$$

と自由エネルギーを定める。$F[p]$ は分布を入れて数を返すので、汎関数として角括弧で書く。これを非平衡の自由エネルギーと呼ぶ。$\ln p_{\mathrm{eq}}(i)=-\beta E_i-\ln Z$ を $D(p\,\|\,p_{\mathrm{eq}})=\sum_ip(i)\ln p(i)-\sum_ip(i)\ln p_{\mathrm{eq}}(i)$ に入れると

$$F[p]-F_{\mathrm{eq}}= k_{\mathrm B} T\,D(p\,\|\,p_{\mathrm{eq}})\tag{2.2.3}$$

を得る。この計算は序章で行ったものと同じである。

証明

式 (2.2.3) の右辺は相対エントロピーの非負性（序章の定理）から $0$ 以上で、$0$ になるのは $p=p_{\mathrm{eq}}$ のときだけである。

この定理には2つの読み方がある。1つは、分配関数を計算する代わりに $F[p]$ を最小にすれば $F_{\mathrm{eq}}$ が求まる、という計算の方法としての読み方である。最小化を全部の分布の上で行えば答えは厳密に Gibbs 分布になる。最小化を扱いやすい分布の族に限れば、$F_{\mathrm{eq}}$ の上界が得られる。これが2.2.4節の平均場近似である。もう1つは、$F[p]-F_{\mathrm{eq}}$ を「平衡から離れていることの量」と読む読み方である。2.2.3節では、この量がちょうど取り出せる仕事の上限になることを示す。

$F[p]$ の定義 (2.2.2) は、熱力学の $F=U-TS$ の $U$ を平均エネルギーに、$S$ を Gibbs のエントロピー $k_{\mathrm B} H(p)$ に置き換えたものである。平衡でない分布に温度 $T$ を割り当てているわけではない。$T$ は熱浴の温度で、系の分布 $p$ とは別に決まっている。この区別は2.2.2節の Pythagoras の分解で、もう1つの温度 $T^*$ が出てくるときに大事になる。

粒子数が出入りする系

系が熱浴とエネルギーだけでなく粒子もやりとりし、熱浴の化学ポテンシャルが $\mu$ のとき、状態 $i$ の粒子数を $N_i$ として

$$p_{\mathrm{eq}}(i)=\frac{\mathrm{e}^{-\beta(E_i-\mu N_i)}}{\Xi},\qquad \Xi=\sum_i\mathrm{e}^{-\beta(E_i-\mu N_i)},\qquad \Omega_{\mathrm{eq}}=- k_{\mathrm B} T\ln\Xi\tag{2.2.4}$$

が平衡の分布とグランドポテンシャルである。式 (2.2.2) の $E$ を $E-\mu N$ に置き換えて $\Omega[p]=\langle E-\mu N \rangle _p- k_{\mathrm B} T\,H(p)$ と定めると、同じ計算で

$$\Omega[p]-\Omega_{\mathrm{eq}}= k_{\mathrm B} T\,D(p\,\|\,p_{\mathrm{eq}})\ge0\tag{2.2.5}$$

が出る。比べる相手が「その熱浴と釣り合う Gibbs 分布」であれば、熱浴が何をやりとりするかによらず同じ形になる。一般に、熱浴とやりとりする量が $f_1,\dots,f_K$ で、それぞれに $\beta$ を掛けた共役な量が $\lambda_1,\dots,\lambda_K$ なら、比べる相手は $\mathrm{e}^{-\sum_k\lambda_kf_k}/Z(\lambda)$ の形の分布になる。前の章の最大エントロピー原理で、平均を決めた量の数だけ未定乗数が現れたことと対応している。

量子系

量子系では、分布の代わりに密度行列 $\hat\rho$ を使い、$F[\hat\rho]=\operatorname{Tr}(\hat\rho\hat H)- k_{\mathrm B} T\,S(\hat\rho)$ と定める。$S(\hat\rho)=-\operatorname{Tr}(\hat\rho\ln\hat\rho)$ は von Neumann エントロピーである。Gibbs 状態 $\hat\rho_{\mathrm{eq}}=\mathrm{e}^{-\beta\hat H}/Z$ について $\ln\hat\rho_{\mathrm{eq}}=-\beta\hat H-\ln Z$ が演算子として成り立つので、古典と同じ計算で

$$F[\hat\rho]-F_{\mathrm{eq}}= k_{\mathrm B} T\,D(\hat\rho\,\|\,\hat\rho_{\mathrm{eq}}),\qquad D(\hat\rho\,\|\,\hat\sigma)=\operatorname{Tr}\hat\rho(\ln\hat\rho-\ln\hat\sigma)\tag{2.2.6}$$

を得る。右辺が負にならないこと（Klein の不等式）は 第3部第2章 で示す。