発展的事項

数理統計　第6章 §6.4　★★ 多パラメータの Fisher 情報行列と、Kullback–Leibler 情報量から導く AIC

本の「発展的事項」の節に当たるこの節では、1級の範囲に入る話題として、パラメータが複数あるときの Fisher 情報行列と、最尤法をモデル選択へ広げる AIC を扱う。AIC は 2025年 統計数理 問1 の題材（区分定数型の密度での最尤推定と AIC の導出）でも問われた。

Fisher 情報行列

パラメータがベクトル $\theta=(\theta_1,\dots,\theta_k)^\top$ のとき、スコアはベクトル $\bm{s}=\partial\log f/\partial\theta$ になる。Fisher 情報量は次の $k\times k$ 行列

$$I(\theta)_{jl}=E_\theta[s_js_l]=-E_\theta\Bigl[\frac{\partial^2\log f(X;\theta)}{\partial\theta_j\partial\theta_l}\Bigr]\tag{6.10}$$

になる。2つ目の等号は、補題 6.12 の証明を偏微分で繰り返せば同じように示せる。

証明

定理 6.13 の証明と同じく、次の2つが成り立つ（後者は行列）。

$$\mathrm{Cov}\Bigl(T,\frac{\partial \ell}{\partial \theta_j}\Bigr)=\frac{\partial g}{\partial \theta_j},\qquad V\Bigl[\frac{\partial \ell}{\partial \theta}\Bigr]=nI(\theta)$$

任意のベクトル $\bm{a}$ について、Cauchy–Schwarz から

$$\bigl(\bm{a}^\top\nabla g\bigr)^2=\mathrm{Cov}\Bigl(T,\bm{a}^\top\frac{\partial \ell}{\partial \theta}\Bigr)^2\le V[T]\cdot n\,\bm{a}^\top I\bm{a}$$

である。$\bm{a}=I^{-1}\nabla g$ とおくと

$$(\nabla g^\top I^{-1}\nabla g)^2\le V[T]\cdot n\,\nabla g^\top I^{-1}\nabla g$$

となる。両辺を正の数 $n\nabla g^\top I^{-1}\nabla g$ で割ればよい。

定理 6.14 も同じ形で拡張され、$\sqrt n(\hat\theta_n-\theta)\xrightarrow{d}\mathrm{N}_k\bigl(\bm 0,I(\theta)^{-1}\bigr)$ となる。1つの成分の漸近分散は $(I^{-1})_{11}$ であって、$1/I_{11}$ ではない。ほかのパラメータが未知であることで推定が難しくなる分が、逆行列を取る操作に入っている。

Kullback–Leibler 情報量

データが従う真の分布を $g(x)$、モデルを $f(x;\theta)$ とする。2つの分布の離れ具合を次の量で測る。

証明

$\log$ は狭義凹関数なので、Jensen の不等式から$-D(g\,\|\,f)=E_g\bigl[\log\frac{f(Z)}{g(Z)}\bigr]\le\log E_g\bigl[\frac{f(Z)}{g(Z)}\bigr]=\log\int_{g>0}f(z)\,\mathrm{d} z\le\log1=0$。等号は $f(Z)/g(Z)$ が確率1で定数のとき、すなわち $f=g$ のときに限る。

KL 情報量は次の2項に分かれる。

$$D(g\,\|\,f_\theta)=E_g[\log g(Z)]-E_g[\log f(Z;\theta)]$$

第1項はパラメータによらない。よって $D$ を小さくすることは、平均対数尤度 $E_g[\log f(Z;\theta)]$ を大きくすることと同じである。最尤法は、この期待値を標本平均

$$\frac1n\ell(\theta)=\frac1n\sum_i\log f(X_i;\theta)$$

で置き換えて最大化している。大数の法則で、標本平均は平均対数尤度に収束する。したがって最尤推定量は、$D(g\,\|\,f_\theta)$ を最小にするパラメータに近づく。

AIC の導出

入れ子のモデルでは、パラメータを増やしても最大対数尤度 $\ell(\hat\theta)$ は減らない（小さいモデルの最大点が大きいモデルの候補に含まれる）。そのため最大対数尤度の大きさだけでモデルを比べると、いつもパラメータの多いモデルが選ばれる。

そこで、推定したモデル $f(\cdot;\hat\theta)$ が「新しいデータ」をどれだけうまく説明するかを表す量

$$n E_Z[\log f(Z;\hat\theta)]\qquad(\text{$Z$ は $\bm{X}$ と独立に $g$ に従う})$$

を比べる。$\ell(\hat\theta)$ は、同じデータでパラメータを合わせたうえで同じデータを評価している。そのため、この量を大きめに見積もる。その偏りを求める。

導出

$\hat\theta-\theta_0=\bm\delta$ とおき、$I=I(\theta_0)$ と書く。偏りを $\ell(\theta_0)$ と $nE_Z\log f(Z;\theta_0)$ を経由して3つに分ける。

(a) $\ell(\theta_0)$ を最尤推定量の周りで展開する。そこでは1階導関数が 0 なので

$$\begin{aligned}\ell(\theta_0)&\approx\ell(\hat\theta)+\frac12\bm\delta^\top\ell''(\hat\theta)\bm\delta\\ &\approx\ell(\hat\theta)-\frac n2\bm\delta^\top I\bm\delta&&\text{（}{-\ell''/n\to I}\text{ を使った）}\end{aligned}$$

である。よって $\ell(\hat\theta)-\ell(\theta_0)\approx\frac n2\bm\delta^\top I\bm\delta$ となる。

(b) 平均対数尤度を $\varphi(\theta)=E_Z[\log f(Z;\theta)]$ とおく。これは $\theta_0$ で最大になる（命題 6.18）。よって勾配は 0 で、2階導関数は $-I$ である。したがって

$$n\varphi(\hat\theta)\approx n\varphi(\theta_0)-\frac n2\bm\delta^\top I\bm\delta$$

となる。

(c) $E[\ell(\theta_0)]=nE[\log f(X_1;\theta_0)]=n\varphi(\theta_0)$。

3つを合わせると

$$\ell(\hat\theta)-n\varphi(\hat\theta)\approx\bigl\{\ell(\theta_0)-n\varphi(\theta_0)\bigr\}+n\,\bm\delta^\top I\bm\delta.$$

右辺第1項の期待値は (c) から 0 である。第2項については、多パラメータの漸近正規性から

$$\sqrt n\,I^{1/2}\bm\delta\xrightarrow{d}\mathrm{N}_k(\bm0,E_k)$$

が成り立つ。よって $n\bm\delta^\top I\bm\delta=\lVert \sqrt nI^{1/2}\bm\delta\rVert ^2$ は $\chi^2_k$ に分布収束し、その期待値は次元に等しい。（期待値の収束には一様可積分性が要るが、試験の導出ではこの段を認めてよい。）

そこで $\ell(\hat\theta)-k$ を「新しいデータでの対数尤度」の推定値に使い、$-2$ 倍した

$$\mathrm{AIC}=-2\ell(\hat\theta)+2k\tag{6.13}$$

を AIC（赤池情報量規準）と呼ぶ。候補のモデルそれぞれで AIC を計算し、最小のモデルを選ぶ。第1項はデータへの当てはまりの良さ、第2項はパラメータの個数に対する罰則で、パラメータを1個増やすなら最大対数尤度が $1$ 以上増えなければ選ばれない。回帰モデルの変数選択での使い方は第9章 §9.3 で扱う。

確認テスト

オリジナル

1. 6.4-1 分散が共通の2つの正規分布

$$g=\mathrm{N}(\mu_1,\sigma^2),\qquad f=\mathrm{N}(\mu_2,\sigma^2)$$

について $D(g\,\|\,f)$ を求めよ。2. 6.4-2 正規分布を $\theta=(\mu,\sigma)$（分散でなく標準偏差）でパラメータ付けしたときの Fisher 情報行列を求め、$\hat\sigma_{\mathrm{ML}}$ の漸近分散を書け。$\hat\sigma^2_{\mathrm{ML}}$ の漸近分散 $2\sigma^4/n$ からデルタ法で求めた値と一致することを確かめよ。3. 6.4-3 例題 6.6 で、工程 A の合計が $36$、工程 B の合計が $44$ だったとき、どちらのモデルが選ばれるか。4. 6.4-4 $n=100$ 回のベルヌーイ試行で成功が $x$ 回だった。次の2つのモデルを比べる。

• モデル0は $p=1/2$ とする（$k=0$）。
• モデル1は $p$ を自由とする（$k=1$）。

(a) $x=60$ のときどちらが選ばれるか。(b) $x>50$ の範囲で、モデル1が選ばれる最小の $x$ を求めよ。5. 6.4-5 命題 6.19 の導出で「$n\bm\delta^\top I\bm\delta$ の極限分布は $\chi^2_k$」を使った。これを $\sqrt n(\hat\theta-\theta_0)\xrightarrow{d}\mathrm{N}_k(\bm0,I^{-1})$ から示せ。