出てくるもの（2）：十分統計量

相対エントロピーから情報と物理を組み立てる　第1部 第4章 §1.4.4　★★★ データを統計量にまとめても相対エントロピーが減らないこと、条件付き分布がパラメータによらないこと、尤度が因子分解されること、の3つが同じであることを示す

統計量はデータの処理である

パラメータ $\theta$ で番号づけられた分布の族 $\{p_\theta\}$ から、データ $X$ が1つ出るとする。たとえば $X=(X_1,\dots,X_n)$ は、表の出る確率が $\theta$ のコインを $n$ 回投げた結果である。データの関数 $T(X)$（表の回数など）を統計量と呼ぶ。統計量を計算することは関数による処理なので、系 1.4.2(ii) から、2つのパラメータ $\theta,\theta'$ について

$$D\bigl(p^T_\theta\,\|\,p^T_{\theta'}\bigr)\le D\bigl(p_\theta\,\|\,p_{\theta'}\bigr)\tag{1.4.18}$$

が成り立つ。ここで $p^T_\theta(t)=\sum_{x:\,T(x)=t}p_\theta(x)$ は統計量の分布である。$D(p_\theta\,\|\,p_{\theta'})$ は「データから $\theta$ と $\theta'$ を見分ける難しさの逆」を測る量で（第1部第8章 の Stein の補題で正確な意味を与える）、統計量にまとめると見分ける力は一般に下がる。下がらないのはどういう統計量か、というのがこの節の問いである。

3つの言い方が同じであること

言葉で言えば、$T$ の値を知った後でデータの残りの部分がどう出るかには $\theta$ が関わらない。$\theta$ についての情報は $T$ にすべて入っていて、残りはパラメータと無関係な雑音である。

式 (1.4.19) の第2項は、統計量にまとめたときに失われる「見分ける力」を、$T$ の値ごとの条件付き分布の違いとして書いたものである。十分統計量はこれを $0$ にする統計量にほかならない。

Bayes の見方：$\Theta\to X\to T$

パラメータを確率変数 $\Theta$ とみなし、事前分布 $w(\theta)>0$ を1つ置くと、$\Theta\to X\to T(X)$ は Markov 連鎖になる（$T$ は $X$ だけから作る）。定理 1.4.3 から $I(\Theta;T)\le I(\Theta;X)$ で、その差は式 (1.4.15) により $I(\Theta;X\,|\,T)$ である。これが $0$ になることは、$T$ を与えたとき $\Theta$ と $X$ が条件付き独立であること、すなわち $p(x\,|\,t,\theta)$ が $\theta$ によらないことと同じなので、

$$T\text{ が十分}\iff I\bigl(\Theta;T(X)\bigr)=I(\Theta;X)\tag{1.4.20}$$

が成り立つ（$w$ がすべての $\theta$ に正の確率を置くかぎり、どの事前分布で調べてもよい）。十分統計量は、データについての驚き（エントロピー）を捨てつつ、パラメータについての相互情報量だけは残す要約である。

2つの仮説なら尤度比が十分

$\theta$ が $\theta_0,\theta_1$ の2つしかないとき、尤度比 $\Lambda(x)=p_{\theta_1}(x)/p_{\theta_0}(x)$ は十分統計量である。実際 $p_{\theta_1}(x)=\Lambda(x)\,p_{\theta_0}(x)$ は、$g_{\theta_1}(\lambda)=\lambda$, $g_{\theta_0}(\lambda)=1$, $h=p_{\theta_0}$ とした因子分解 (c) になっている。$D(p_{\theta_0}\,\|\,p_{\theta_1})=\langle -\ln\Lambda \rangle _{p_{\theta_0}}$ が $\Lambda$ の分布だけで書けることも、これと同じ事情を表す。しかも任意の十分統計量 $T$ について尤度比は $T$ の関数になる（(c) から $\Lambda=g_{\theta_1}(T)/g_{\theta_0}(T)$）ので、尤度比はもっとも粗い十分統計量（最小十分統計量）である。2つの仮説を見分ける検定がすべて尤度比で書けるという Neyman–Pearson の補題は、第1部第8章 で相対エントロピーとともに扱う。