授業で習った形との対応

相対エントロピーから情報と物理を組み立てる　第1部 第2章 §1.2.6　★★ 情報理論の授業の $-\log_2p$、統計力学の $S= k_{\mathrm B}\ln W(E)$ と $S=- k_{\mathrm B}\sum p\ln p$ を、この章の $H$ と典型集合で並べる

情報理論の授業の書き方

情報理論の授業では、多くの場合、底を $2$ に取って

$$I(x)=-\log_2p(x)\ [\text{ビット}],\qquad H(X)=-\sum_xp(x)\log_2p(x)\ [\text{ビット}]$$

と書き、前者を自己情報量、後者を（情報源の）エントロピーと呼ぶ。この章の $s(x)$ と $H(X)$ を $\ln2$ で割ったものにあたる。ビットの書き方は、2進数の符号の長さとそのまま比べられる点で便利で、この巻でも第5・6章で符号長や通信路容量の数値を述べるときはビットに直す。典型系列は、情報源符号化定理の証明の中で初めて出会うことが多い。この章ではそれを独立した性質（AEP）として先に取り出した。

統計力学の書き方：$S= k_{\mathrm B}\ln W(E)$ と典型集合

統計力学の授業では、エネルギー $E$ の孤立系のエントロピーを状態数 $W(E)$ の対数

$$S= k_{\mathrm B}\ln W(E)\tag{1.2.17}$$

で定義する（等重率の原理。力学の側からの導入は 解析力学から様々な理論分野を組み立てる 第3部第2章）。もう一方で、カノニカル分布などの確率分布 $p_i$ に対しては Gibbs のエントロピー

$$S=- k_{\mathrm B}\sum_ip_i\ln p_i= k_{\mathrm B} H(p)\tag{1.2.18}$$

を使う。2つの式は別々に教わることが多いが、AEP はその2つをつなぐ。

例として、2準位の粒子 $N$ 個の系を考える。各粒子は励起エネルギー $\varepsilon$ の上の準位か下の準位にあり、上にある粒子の数を $N_1$ とすると $E=N_1\varepsilon$ である。エネルギー $E$ の状態数は、$N$ 個から上にいる $N_1$ 個を選ぶ場合の数 $W(E)=\binom{N}{N_1}$ で、これは長さ $N$ の2値の系列のうち $1$ が $N_1$ 個のものの数と同じである。この数は次の評価を満たす。

証明

$x=k/n$ とおき、$0<k<n$ とする（$k=0,n$ では両辺とも $1$ 以下と $1$ で成り立つ）。二項定理から $1=\sum_{j=0}^n\binom nj x^j(1-x)^{n-j}$ で、$j=k$ の項は$\binom nk x^k(1-x)^{n-k}=\binom nk\mathrm{e}^{-nh_{\mathrm b}(x)}$ である（$x^k(1-x)^{n-k}=\exp\bigl(n(x\ln x+(1-x)\ln(1-x))\bigr)$）。この項が $1$ 以下であることから右の不等式が出る。左の不等式には、$j=k$ の項が $n+1$ 個の項の中で最大であることを使う。隣の項との比$\frac{\binom{n}{j+1}x^{j+1}(1-x)^{n-j-1}}{\binom nj x^j(1-x)^{n-j}}=\frac{n-j}{j+1}\cdot\frac{k}{n-k}$ が $1$ 以上になる条件は、分母を払って整理すると $j+1\le k+k/n$ である。$j\le k-1$ ならこれが成り立ち、$j\ge k$ なら $j+1\ge k+1>k+k/n$ で成り立たないので、項は $j=k$ まで増え、その後は減る。最大の項は平均 $1/(n+1)$ 以上なので左の不等式が出る。

式 (1.2.19) の対数を取って $N$ で割ると、$\frac1N\ln W(E)=h_{\mathrm b}(N_1/N)+\mathcal{O}(\ln N/N)$ となり、

$$S= k_{\mathrm B}\ln W(E)\approx N k_{\mathrm B}\,h_{\mathrm b}(N_1/N)\tag{1.2.20}$$

を得る。右辺は、1粒子が確率 $N_1/N$ で上の準位にある分布の Gibbs のエントロピー (1.2.18) を $N$ 倍したものである。典型集合の言葉では、「独立な $N$ 粒子の分布 $p^N$ の確率はほぼ全部が $\mathrm{e}^{NH}$ 個の系列に等分配される」ので、その系列だけを等確率で数えた Boltzmann のエントロピー$k_{\mathrm B}\ln\lvert A_\epsilon^{(N)}\rvert$ と、分布全体の Gibbs のエントロピー $N k_{\mathrm B} H(p)$ が、1粒子あたりで一致する。カノニカル分布とミクロカノニカル分布が大きな系で同じ熱力学を与えることの最も簡単な場合にあたる（第2部第3章で典型性として扱い直す）。

統計力学の教科書では、式 (1.2.20) を Stirling の公式 $\ln N!\approx N\ln N-N$ で導くことが多い。命題 1.2.9 の評価を使えば近似を経ずに上下から押さえられるが、Stirling の公式を使う場合はそれが $N\to\infty$ の漸近展開であることに注意する。誤差まで書いた形 $\ln N!=N\ln N-N+\frac12\ln(2\pi N)+\mathcal{O}(1/N)$ を使うと、$\ln\binom{N}{N_1}$ の補正項は $-\frac12\ln\bigl(2\pi N x(1-x)\bigr)$（$x=N_1/N$）になる。