授業で習った形との対応

相対エントロピーから情報と物理を組み立てる　第1部 第8章 §1.8.6　★★ 統計学の Chebyshev の不等式・尤度比検定と、統計力学の $S= k_{\mathrm B}\ln W$・$F=- k_{\mathrm B} T\ln Z$ をこの章の式に並べる

統計学：大数の法則の評価と検定

統計学の授業では、大数の法則を Chebyshev の不等式で示す。標本平均 $\bar f_n$ の分散は $\sigma^2/n$ なので

$$\Pr\bigl(\lvert \bar f_n-\mu\rvert \ge c\bigr)\le\frac{\sigma^2}{nc^2}\tag{1.8.21}$$

で、右辺は $1/n$ でしか減らない。この章の Chernoff の評価 (1.8.13) は同じ確率（片側）を $\mathrm{e}^{-n\Lambda^*(\mu+c)}$ で押さえ、指数関数的に減ることを示す。2つの違いは、Chebyshev が2次の積率だけを使うのに対し、Chernoff は積率母関数（すべての積率）を使うことにある。中心極限定理 $\sqrt n(\bar f_n-\mu)/\sigma\to\mathrm N(0,1)$ は、$c$ を $1/\sqrt n$ に比例させたときの式で、中心極限定理から固定した $c$ の確率の指数を求めることはできない。式 (1.8.14) のとおり、$\Lambda^*$ を2次で打ち切ったものが中心極限定理の指数にあたる。

検定の授業では、Neyman–Pearson の補題で最適な検定が尤度比検定であることを学び、第2種の誤りの代わりに検出力 $1-\beta_n$ を使う。この章の式 (1.8.17) は、尤度比検定の統計量が $D(p_{x^n}\|p_1)-D(p_{x^n}\|p_0)$ であることを示し、Stein の補題 (1.8.18) は検出力が $1$ に近づく速さ（$1-\text{検出力}\doteq\mathrm{e}^{-nD(p_0\|p_1)}$）が $D$ で決まることを示す。対立仮説が近い場合、$p_1=p_{\theta+\delta}$、$p_0=p_\theta$ では 第1部第7章 の展開

$$D(p_\theta\|p_{\theta+\delta})\approx\tfrac12J(\theta)\delta^2\tag{1.8.22}$$

を使えば、指数を Fisher 情報で書くことができる。統計学では Fisher 情報を $I(\theta)$ と書くが、この巻では相互情報量と区別するため $J(\theta)$ と書く。Fisher 情報が大きいパラメータほど、近い値どうしを少ない標本で見分けることができる。Cramér–Rao の不等式が推定の精度の上限を Fisher 情報で表したのと同じ内容を、検定の側から述べたものになっている。

統計力学：状態数の対数とその Legendre 変換

統計力学の授業では、微視的カノニカル集団のエントロピーを $S= k_{\mathrm B}\ln W(E)$（$W(E)$ はエネルギー $E$ の状態数）と定義し、$1/T=\frac{\partial S}{\partial E}$ で温度を決める。カノニカル集団では分配関数 $Z(\beta)=\sum\mathrm{e}^{-\beta E}$ から $F=- k_{\mathrm B} T\ln Z$ を作り、2つは Legendre 変換 $F=E-TS$ で結ばれる。

この章の式で書き直す。1粒子の状態の集合 $\mathcal X$（$\lvert \mathcal X\rvert =K$ 個）と一様分布 $q$、$f=\varepsilon$ をとり、$\lambda=-\beta$ とおくと

$$\Lambda(-\beta)=\ln\frac1K\sum_x\mathrm{e}^{-\beta\varepsilon (x)}=\ln Z_1(\beta)-\ln K\tag{1.8.23}$$

で、$Z_1$ は1粒子の分配関数である。一方、$n$ 粒子の全エネルギーが $nu$ 付近の状態数を $W$ とすると、それは $K^n\times q^n(\bar\varepsilon _n\approx u)\doteq K^n\mathrm{e}^{-n\Lambda^*(u)}$ なので、1粒子あたりのエントロピー（$k_{\mathrm B}$ 単位）は

$$s(u)=\lim_{n\to\infty}\frac1n\ln W=\ln K-\Lambda^*(u)=\inf_{\beta}\bigl(\beta u+\ln Z_1(\beta)\bigr)\tag{1.8.24}$$

になる。最後の等号は $\Lambda^*(u)=\sup_\lambda(\lambda u-\Lambda(\lambda))$ に式 (1.8.23) を入れたものである。1粒子あたりの自由エネルギーを $F_1=-\beta^{-1}\ln Z_1$ とおくと、右辺の括弧は $\beta(u-F_1)$ なので、これは $F=E-TS$ を Legendre 変換として書いたものにほかならない。

大偏差のレート関数は、統計力学のエントロピー（を符号を変えて定数をずらしたもの）であり、対数積率母関数は分配関数の対数である。統計力学で「熱力学極限ではアンサンブルによらない」と言われる事情は、大偏差の言葉では「和が最大の項で決まる」ことと同じである。力学の側（相空間と Liouville の定理）からの読み方は 解析力学から様々な理論分野を組み立てる 第3部第1章 にある。