出てくるもの2：最尤推定と漸近有効性

相対エントロピーから情報と物理を組み立てる　第1部 第7章 §1.7.4　★★ 最尤推定は経験分布との $D$ を最小にする推定で、観測が多いとき Cramér–Rao の下限に達する

最尤推定は $D$ の最小化

観測値 $x_1,\dots,x_n$ が得られたとき、対数尤度

$$\ell_n(\theta)\coloneqq\sum_{i=1}^n\ln p(x_i;\theta)\tag{1.7.14}$$

を最大にする $\theta$ を最尤推定量 $\hat\theta_{\mathrm{ML}}$ と呼ぶ。観測値の経験分布を $\hat p_n(x)=\frac1n\#\{i:x_i=x\}$ とすると、序章の式 (1.1.13) により $\frac1n\ell_n(\theta)=-H(\hat p_n)-D(\hat p_n\,\|\,p_\theta)$ で、$H(\hat p_n)$ は $\theta$ によらない。したがって最尤推定は、経験分布 $\hat p_n$ から相対エントロピーで測って最も近い族の元 $p_\theta$ を選ぶことである。$n\to\infty$ では大数の法則により $\hat p_n$ が真の分布 $p_{\theta_0}$ に近づき、$D(p_{\theta_0}\,\|\,p_\theta)$ は $\theta=\theta_0$ でだけ 0 になるので、$\hat\theta_{\mathrm{ML}}$ は真の値 $\theta_0$ に近づく（一致性）。

漸近正規性

$\hat\theta_{\mathrm{ML}}$ が $\theta_0$ に近いとして、最大の条件 $\ell_n'(\hat\theta_{\mathrm{ML}})=0$ を $\theta_0$ のまわりで1次まで展開すると

$$0=\ell_n'(\theta_0)+\ell_n''(\theta_0)\,(\hat\theta_{\mathrm{ML}}-\theta_0)+\cdots,\qquad \sqrt n\,(\hat\theta_{\mathrm{ML}}-\theta_0)\approx\frac{\ell_n'(\theta_0)/\sqrt n}{-\ell_n''(\theta_0)/n}$$

となる。分子はスコアの独立な $n$ 個の和を $\sqrt n$ で割ったもので、各項は平均 0・分散 $J(\theta_0)$ なので、中心極限定理によって分散 $J(\theta_0)$ の正規分布に近づく。分母は大数の法則によって $-\langle \partial_\theta s_\theta \rangle =J(\theta_0)$ に近づく。合わせて

$$\sqrt n\,(\hat\theta_{\mathrm{ML}}-\theta_0)\ \xrightarrow{\ \text{分布}\ }\ \mathcal N\Bigl(0,\ \frac{1}{J(\theta_0)}\Bigr)\tag{1.7.15}$$

を得る。分散 $1/(nJ)$ は Cramér–Rao の下限そのものである。有限の $n$ では最尤推定量に偏りが残ることがあるが、偏りは $\mathcal{O}(1/n)$ で、標準偏差 $\mathcal{O}(1/\sqrt n)$ より速く消える。最尤推定が「$n$ が大きいとき下限に達する」というこの性質を漸近有効性と呼ぶ。この節の議論は $1/n\to0$ の極限での主要項だけを残したもので、剰余が本当に小さいことの証明には正則条件の第二（3回微分の一様な有界性）と一致性が要る。

図 1.7.2　Cauchy 分布の位置パラメータを、標本の中央値と最尤推定で推定したときの2乗誤差の平均に $n$ を掛けたもの（各 $n$ で4000回の乱数実験。verify_ch1-07.py が出した値）。点線は厳密な漸近値で、最尤推定は Cramér–Rao の下限 $1/J=2$ に、中央値は $\pi^2/4\approx2.47$ に近づく。