出てくるもの（1）：相互情報量のデータ処理不等式

相対エントロピーから情報と物理を組み立てる　第1部 第4章 §1.4.3　★★★ 観測をどう加工しても、もとの量についての相互情報量は増えない。$I(X;Z)\le I(X;Y)$ を2通りに示す

主張と1つ目の証明

この証明は1行で、相互情報量に固有の計算を何も使っていない。相互情報量は「実際の同時分布」と「独立とした分布」の相対エントロピーであり、$Y$ を加工する処理は両方に同じように当たるので、相対エントロピーの単調性がそのまま相互情報量の単調性になる。

2つ目の証明：相互情報量の連鎖律

等号条件をはっきりさせるために、前の章で予告した形の証明も書く。前の章（第1部第3章）では、$Z=z$ を知った後の $X$ と $Y$ の相互情報量を $p_Z$ で平均した条件付き相互情報量 $I(X;Y\,|\,Z)$ を定義し、それが非負で、$0$ になるのは $Z$ を与えたとき $X$ と $Y$ が条件付き独立なときに限ることと、相互情報量の連鎖律 $I(X;Y,Z)=I(X;Y)+I(X;Z\,|\,Y)$ を示した。連鎖律の右辺で $Y$ と $Z$ の役を入れ替えた $I(X;Y,Z)=I(X;Z)+I(X;Y\,|\,Z)$ も成り立つので、2通りの展開を等しいと置いて

$$I(X;Z)+I(X;Y\,|\,Z)=I(X;Y)+I(X;Z\,|\,Y).\tag{1.4.15}$$

$X\to Y\to Z$ では式 (1.4.4) から $I(X;Z\,|\,Y)=0$ なので、

$$I(X;Y)-I(X;Z)=I(X;Y\,|\,Z)\ge0 .$$

差は $I(X;Y\,|\,Z)$ で、それが $0$ になるのは $Z$ を与えたとき $X$ と $Y$ が条件付き独立なとき、すなわち $X\to Z\to Y$ のときである。これで定理 1.4.3 の等号条件も示された。

$X\to Y\to Z$ なら逆向きの $Z\to Y\to X$ も Markov 連鎖なので（1.4.1節）、$X$ と $Z$ の役を入れ替えて $I(X;Z)\le I(Y;Z)$ も成り立つ。$Z$ は $X$ についても、自分を作った $Y$ についても、それぞれの相互情報量を超える情報を持たない。特に $Z=g(Y)$ と関数で決まるときは

$$I\bigl(X;g(Y)\bigr)\le I(X;Y)\tag{1.4.16}$$

である。観測値を丸める・ヒストグラムにまとめる・判定結果だけを残す、といった操作で、もとの量 $X$ についての情報が増えることはない。特に $Y=X$、$Z=g(X)$ とおくと $X\to X\to g(X)$ は Markov 連鎖で、$I(X;X)=H(X)$、$I(X;g(X))=H(g(X))-H(g(X)\,|\,X)=H(g(X))$ なので

$$H\bigl(g(X)\bigr)\le H(X)\tag{1.4.17}$$

を得る。前々章（第1部第2章）で示した「関数で移すとエントロピーは増えない」は、データ処理不等式のもっとも簡単な場合である。

図 1.4.3　一様な入力 $X$ を誤り確率 $0.1$ の2値対称通信路に $n$ 段通した出力 $Z_n$ との相互情報量（正確な値なので点線）。$X\to Z_1\to Z_2\to\cdots$ は Markov 連鎖なので、定理 1.4.3 により段を進むたびに減る