授業で習った形との対応

相対エントロピーから情報と物理を組み立てる　第1部 第7章 §1.7.6　★★ 統計学の $I(\theta)$・有効推定量・漸近正規性と、実験の最小二乗法の誤差を、この章の $J$ と $D$ で並べる

統計学の教科書の書き方

数理統計学の授業や教科書では、確率密度を $f(x;\theta)$、Fisher 情報を $I(\theta)$（$n$ 個の標本では $I_n(\theta)=nI(\theta)$）と書き、

$$I(\theta)=E\Bigl[\Bigl(\frac{\partial}{\partial\theta}\log f(X;\theta)\Bigr)^2\Bigr]=-E\Bigl[\frac{\partial^2}{\partial\theta^2}\log f(X;\theta)\Bigr],\qquad V[\hat\theta]\ge\frac{1}{nI(\theta)}$$

の形で習う（$\log$ は自然対数）。この章の式と次のように対応する。

教科書の書き方では Fisher 情報は「スコアの分散」として天下りに定義され、なぜその量が推定の精度に関係するかは Cramér–Rao の証明を読むまで分からない。この章の書き方では、Fisher 情報は最初から「$\theta$ を $\delta$ ずらした2つの分布の見分けやすさ」で、推定の精度の限界はその帰結として出てくる。加法性もデータ処理による減少も、$D$ の性質をそのまま移したものになる。

実験データの最小二乗法

物理実験の授業では、測定値 $y_i$（$i=1,\dots,n$）が理論値 $\mu_i(\theta)$ のまわりに標準偏差 $\sigma_i$ の正規分布で散らばるとして、$\chi^2(\theta)=\sum_i(y_i-\mu_i(\theta))^2/\sigma_i^2$ を最小にする $\theta$ を選ぶ（最小二乗法）。このとき $\ln p=-\frac12\chi^2+\text{const}$ なので、最小二乗法は正規分布の雑音のもとでの最尤推定である。Fisher 情報は

$$J(\theta)=\sum_i\frac{1}{\sigma_i^2}\Bigl(\frac{\mathrm{d} \mu_i}{\mathrm{d} \theta}\Bigr)^2\tag{1.7.21}$$

で、実験の授業で習う「パラメータの誤差 $\sigma_\theta^2=\bigl[\sum_i(\partial\mu_i/\partial\theta)^2/\sigma_i^2\bigr]^{-1}$」は Cramér–Rao の下限 $1/J$ そのものである。理論値 $\mu_i$ が $\theta$ について線形なら最小二乗の推定量は不偏で、この下限にちょうど達する。同じ量を測った重み付き平均 $\bar y=\sum_i(y_i/\sigma_i^2)/\sum_i(1/\sigma_i^2)$ の誤差 $\bigl[\sum_i1/\sigma_i^2\bigr]^{-1/2}$ は、$\mu_i=\theta$ とした特別な場合である。