当てる $D$ の性質：非負性・加法性・データ処理

相対エントロピーから情報と物理を組み立てる　第1部 第7章 §1.7.2　★★★ $D$ の3つの性質を2次の係数に移すと、$J\ge0$・$n$ 倍・データ処理で減ることがそのまま出る

式 (1.7.6) は「$D$ について成り立つ不等式や等式を $\delta^2/2$ で割って $\delta\to0$ とすれば、$J$ について成り立つ」ことを意味する。この節では、第1部第3章と第4章で示した $D$ の性質を順にこの方法で $J$ へ移す。

非負性と加法性

$D\ge0$（第1部第3章）を $\delta^2/2$ で割れば $J(\theta)\ge0$ である。定義 $J=\langle s_\theta^2 \rangle$ からも明らかだが、$J(\theta)=0$ となるのは $s_\theta(x)=0$ がほとんどすべての $x$ で成り立つとき、つまり $\theta$ を少し動かしても分布がまったく変わらない（$\theta$ が識別できない）ときに限る。

独立な2つの確率変数の組 $(X,Y)$ で、$p_\theta(x,y)=p_\theta(x)\,r_\theta(y)$ と分かれるとき、$D$ は足し算になる：$D(p_\theta r_\theta\,\|\,p_{\theta+\delta}r_{\theta+\delta})=D(p_\theta\,\|\,p_{\theta+\delta})+D(r_\theta\,\|\,r_{\theta+\delta})$。両辺の $\delta^2$ の係数を比べて、Fisher 情報も足し算になる。特に同じ分布から独立に $n$ 回観測した $X^n=(X_1,\dots,X_n)$ では

$$J_{X^n}(\theta)=n\,J(\theta)\tag{1.7.7}$$

である。以後、どの確率変数の Fisher 情報かを区別したいときは $J_X(\theta)$ のように添字を付ける。

データ処理不等式と十分統計量

観測値 $X$ をそのまま使わず、何らかの加工 $T=t(X)$（ビンにまとめる、符号だけ記録する、平均だけ残す、雑音の入った通信路を通す）をしたとする。加工は確率行列 $W$ を掛ける操作で、$\theta$ によらない。第1部第4章のデータ処理不等式 $D(Wp\,\|\,Wq)\le D(p\,\|\,q)$ を$p=p_\theta$、$q=p_{\theta+\delta}$ に当てて $\delta^2/2$ で割ると、次の命題になる。決定的な加工 $T=t(X)$ については第1部第4章の式 (1.4.24) で先に見た。ここでは確率的な加工まで含めて命題にまとめる。

等号の条件は、十分統計量では $D$ が保たれる（第1部第4章）ことから従う。十分統計量に直接当てはめると次のように確かめられる。Fisher–Neyman の分解 $p(x;\theta)=g(t(x);\theta)\,h(x)$ が成り立てば$s_\theta(x)=\partial_\theta\ln g(t(x);\theta)$ となり、スコアは $t(x)$ だけの関数である。このときスコアの分布は $T$ だけから計算でき、$J_T=J_X$ となる。

パラメータの付け替えと幾何

同じ族を別のパラメータ $\eta$ で表す（$\theta=\theta(\eta)$）と、分布 $p_\theta$ と $p_{\theta+\delta}$ そのものは変わらないので $D$ も変わらない。$\eta$ を $\epsilon$ だけずらすと $\theta$ は $\delta=\theta'(\eta)\epsilon$ だけずれるから、2次の係数を比べて

$$J^{(\eta)}(\eta)=J^{(\theta)}(\theta)\Bigl(\frac{\mathrm{d} \theta}{\mathrm{d} \eta}\Bigr)^2\tag{1.7.9}$$

となる。$J$ はパラメータの変化の2乗に掛かる係数なので、長さの2乗を測る計量と同じ変換をする。

この計量の意味は、値が有限個の分布で見るとはっきりする。$p_i$（$i=1,\dots,m$）について$J=\sum_i(\partial_\theta p_i)^2/p_i=4\sum_i(\partial_\theta\sqrt{p_i})^2$ と書き直せる。ベクトル $(\sqrt{p_1},\dots,\sqrt{p_m})$ は $\sum_i(\sqrt{p_i})^2=1$ を満たすので、半径1の球面上の点である。したがって $\frac14J(\theta)\,\mathrm{d}\theta^2$ は、分布の族が球面上に描く曲線の長さの要素の2乗に等しい。この計量で測った2つの分布 $p$、$q$ の間の最短距離は球面上の大円の弧で、$2\arccos\sum_i\sqrt{p_iq_i}$ になる（係数 2 は $\mathrm{d} s^2=J\,\mathrm{d}\theta^2$ と測るため）。この距離は、係数 2 を除いて W. K. Wootters が「統計的距離」と呼んだもので、量子状態の間の距離へそのまま拡張された（W. K. Wootters (1981), Phys. Rev. D 23, 357–362）。量子版は第3部第8章（第3部第8章）で扱う。