比べる2つの分布：パラメータを少しずらした $p_\theta$ と $p_{\theta+\delta}$

相対エントロピーから情報と物理を組み立てる　第1部 第7章 §1.7.1　★★★ $D(p_\theta\,\|\,p_{\theta+\delta})\approx\frac12J(\theta)\delta^2$ が Fisher 情報の定義であり、章の出発点

この章で比べる2つの分布は、同じ形の分布の族の中で、パラメータの値だけをわずかに変えた $p_\theta$ と $p_{\theta+\delta}$ である。第1部第3章（第1部第3章）で定めた相対エントロピー $D(p\,\|\,q)$ は、2つの分布がどれだけ見分けやすいかを測る量であった。$\delta$ が小さいとき $D(p_\theta\,\|\,p_{\theta+\delta})$ は $\delta^2$ に比例し、その係数の2倍が Fisher 情報 $J(\theta)$ になる。つまり Fisher 情報は、パラメータを少し動かしたときに分布がどれだけ見分けやすくなるかを表す数である。

$D$ の性質を当てると、Fisher 情報の性質が順に出てくる。非負性からは $J(\theta)\ge0$ が、独立な観測で $D$ が足し算になることからは$n$ 回の観測で Fisher 情報が $n$ 倍になることが、データ処理不等式（第1部第4章）からは、データを加工するとFisher 情報が減り、十分統計量なら減らないことが従う。そのうえで、パラメータを推定する人がどれだけ精度よく推定できるかに下限があること（Cramér–Rao の不等式）、観測の回数が多いとき最尤推定がその下限に達すること、統計力学のカノニカル分布では Fisher 情報がエネルギーの揺らぎ、したがって熱容量そのものになることを示す。最後に、統計学の教科書や実験データの解析で習う形と、この章の形を並べる。

パラメータの付いた分布の族

コインの表が出る確率 $\theta$、正規分布の平均 $\theta$、指数分布の速さ $\theta$ のように、1つの実数 $\theta$ を決めると分布が1つ決まる族 $\{p_\theta\}$ を考える。確率変数 $X$ の値 $x$ における確率（連続なら確率密度）を

$$p_\theta(x)\equiv p(x;\theta)\tag{1.7.1}$$

と書き、$p_\theta$ のもとでの平均を $\langle f \rangle _\theta=\sum_xp(x;\theta)f(x)$、分散を $\mathrm{Var}_\theta(f)$ と書く。和は $X$ が連続なら積分 $\int\mathrm{d} x$ に読み替える。$\theta$ を知らない人が $X$ の値を見て $\theta$ を当てる問題を推定と呼ぶ。

この章を通して次の正則条件を仮定する。第一に、$p(x;\theta)>0$ となる $x$ の範囲（台）が $\theta$ によらない。第二に、$p(x;\theta)$ は $\theta$ について3回微分でき、$\theta$ での微分と $x$ についての和（積分）の順序を入れ替えてよい。第三に、後で定める $J(\theta)$ が正で有限である。第一の条件が成り立たない例（一様分布 $[0,\theta]$）は 1.7.3 節で扱う。

スコア

対数をとった確率の $\theta$ 微分

$$s_\theta(x)\coloneqq\frac{\partial }{\partial \theta}\ln p(x;\theta)=\frac{\partial_\theta p(x;\theta)}{p(x;\theta)}\tag{1.7.2}$$

をスコアと呼ぶ。$x$ を観測した人から見て、$\theta$ を増やすと $x$ の確率が相対的にどれだけ増えるかを表す。スコアの平均は 0 になる。実際、規格化 $\sum_xp(x;\theta)=1$ を $\theta$ で微分すると

$$0=\sum_x\partial_\theta p(x;\theta)=\sum_xp(x;\theta)\,s_\theta(x)=\langle s_\theta \rangle _\theta\tag{1.7.3}$$

となる。ここで正則条件の第二（微分と和の交換）と第一（和の範囲が $\theta$ によらない）を使った。

$D$ を2次まで展開する

$D(p_\theta\,\|\,p_{\theta+\delta})=\sum_xp(x;\theta)\bigl[\ln p(x;\theta)-\ln p(x;\theta+\delta)\bigr]$ の $\ln p(x;\theta+\delta)$ を$\delta$ について Taylor 展開すると

$$\ln p(x;\theta+\delta)=\ln p(x;\theta)+\delta\,s_\theta(x)+\frac{\delta^2}{2}\,\partial_\theta s_\theta(x)+\mathcal{O}(\delta^3)$$

である。これを代入し、式 (1.7.3) で1次の項を消すと

$$D(p_\theta\,\|\,p_{\theta+\delta})=-\frac{\delta^2}{2}\langle \partial_\theta s_\theta \rangle _\theta+\mathcal{O}(\delta^3)\tag{1.7.4}$$

を得る。0次の項は $D(p_\theta\,\|\,p_\theta)=0$ で、1次の項は $D$ が $\delta=0$ で最小値 0 をとることと合っている。2次の係数に現れた $-\langle \partial_\theta s_\theta \rangle _\theta$ はスコアの2乗の平均に等しい。式 (1.7.3) をもう一度 $\theta$ で微分すると

$$0=\partial_\theta\sum_xp\,s_\theta=\sum_x\bigl(\partial_\theta p\bigr)s_\theta+\sum_xp\,\partial_\theta s_\theta=\langle s_\theta^2 \rangle _\theta+\langle \partial_\theta s_\theta \rangle _\theta$$

となるからである（$\partial_\theta p=p\,s_\theta$ を使った）。

名前は R. A. Fisher に由来する。Fisher はスコアの2乗の平均を推定の精度を測る量として導入した（R. A. Fisher (1925), Proc. Cambridge Philos. Soc. 22, 700–725）。$D$ を2つの分布の見分けやすさとして定式化したのは S. Kullback と R. A. Leibler である（S. Kullback and R. A. Leibler (1951), Ann. Math. Statist. 22, 79–86）。統計学の教科書では Fisher 情報を $I(\theta)$ と書くが、この巻では $I$ を相互情報量に使うので $J(\theta)$ と書く。