授業で習った形との対応

相対エントロピーから情報と物理を組み立てる　第1部 第4章 §1.4.6　★★ 統計学の十分統計量・因子分解定理・Fisher 情報の不等式、情報理論の講義のデータ処理不等式、確率過程の定常分布への収束を、この章の式と並べる

統計学の十分統計量

学部の数理統計学の授業では、十分統計量を定義 1.4.4 と同じく「$T(X)=t$ を与えたときの $X$ の条件付き分布が $\theta$ によらないこと」として定義し、判定には次の Fisher–Neyman の因子分解定理を使うのが標準的である。

$$T\ \text{が十分}\iff L(\theta;x)=g\bigl(T(x);\theta\bigr)\,h(x).$$

ここで $L(\theta;x)=p_\theta(x)$ は尤度関数で、連続分布なら確率密度である。これは定理 1.4.5 の (a)$\Leftrightarrow$(c) にあたる。この章が付け加えたのは (b) で、「十分統計量とは、どの2つのパラメータの間の相対エントロピーも減らさない統計量である」という言い方である。式 (1.4.19) は、十分でない統計量でどれだけ見分ける力が失われるかを、条件付き分布の相対エントロピーとして数える。

統計学の授業では次に Fisher 情報を習う。相対エントロピーは近いパラメータの間で $D(p_\theta\,\|\,p_{\theta+\delta})=\frac12J(\theta)\delta^2+\mathcal{O}(\delta^3)$ と展開され、係数 $J(\theta)$ が Fisher 情報である（統計学では $I(\theta)$ と書くが、この巻では相互情報量と区別するために $J$ と書く）。式 (1.4.18) を $\delta^2/2$ で割って $\delta\to0$ とすると

$$J_T(\theta)\le J_X(\theta)\tag{1.4.24}$$

が得られる（第1部第7章で命題 1.7.2 としてまとめ直す）。「統計量の Fisher 情報はデータの Fisher 情報を超えない。十分統計量なら等しい」という授業で習う定理は、データ処理不等式の2次の項である。この展開と Cramér–Rao の不等式は 第1部第7章 で扱う。

推定量を十分統計量で条件付けて $\tilde\theta=\langle \hat\theta\,|\,T \rangle$ とすると平均2乗誤差が下がる、という Rao–Blackwell の定理も同じ構造を持つ。十分性から $\langle \hat\theta\,|\,T \rangle$ は $\theta$ を含まないので推定量として使うことができ、2乗誤差については Jensen の不等式 $\langle (\hat\theta-\theta)^2\,|\,T \rangle \ge(\langle \hat\theta\,|\,T \rangle -\theta)^2$ が成り立つ。条件付き期待値をとる操作が「$T$ を通さない雑音を平均で消す処理」になっている点が、相対エントロピーの単調性と共通している。

情報理論の授業のデータ処理不等式

情報理論の授業では、データ処理不等式を相互情報量の形 $I(X;Z)\le I(X;Y)$ で述べ、1.4.3節の2つ目の証明（相互情報量の連鎖律 (1.4.15)）で示すことが多い。単位はビットで、$I(X;Y)=\sum p(x,y)\log_2\frac{p(x,y)}{p(x)p(y)}$ と書く。この章の値を $\ln2$ で割ればビットになる。相対エントロピーの形 $D(Wp\,\|\,Wq)\le D(p\,\|\,q)$ は、授業では「相対エントロピーの凸性」や「対数和不等式」の応用として演習に回されることが多いが、この巻では逆にこちらを基本に置き、相互情報量の形はその特別な場合として出した（1.4.3節の1つ目の証明）。量子情報でも同じ順番をとる。量子の相互情報量の不等式は量子相対エントロピーの単調性から出す（第3部第3章）。

確率過程の定常分布への収束

確率過程の授業では、有限状態の Markov 連鎖が既約かつ非周期なら $p_n\to\pi$ となることを、Perron–Frobenius の定理（$W$ の固有値 $1$ 以外の絶対値が $1$ より小さい）で示す。収束の速さは2番目に大きい固有値の絶対値で決まる。この章の H 定理は、収束までは言わない代わりに、どの時刻でも $D(p_n\,\|\,\pi)$ が増えないことを、行列の固有値を一切使わずに言う。例題 1.4.5 の $1-a-b=0.7$ は2状態の連鎖の2番目の固有値で、$D(p_n\,\|\,\pi)$ の減り方 $0.7^{2n}$ はこの固有値の2乗で決まる。