出てくるもの（2）：相互情報量

相対エントロピーから情報と物理を組み立てる　第1部 第3章 §1.3.4　★★★ 結合分布と「独立だと仮定した分布」の $D$ が相互情報量。その非負性から「条件を付けると平均のエントロピーは減る」が出る

独立だと仮定した分布と比べる

2つの確率変数の関係を測るには、実際の結合分布 $p_{XY}$ を、同じ周辺分布を持ち $X$ と $Y$ が独立だと仮定した分布 $p_Xp_Y$（積 $p_X(x)p_Y(y)$ を確率とする分布）と比べればよい。

$p_{XY}(x,y)>0$ なら $p_X(x)>0$ かつ $p_Y(y)>0$ なので、$I(X;Y)$ はいつも有限である。対数の中を$p_{XY}/(p_Xp_Y)=p_{X|Y}/p_X$ と書き直して平均すると、エントロピーで書いた形がそろって出てくる。

$$I(X;Y)=H(X)-H(X\,|\,Y)=H(Y)-H(Y\,|\,X)=H(X)+H(Y)-H(X,Y) .\tag{1.3.14}$$

1つ目の等号は、$\ln\bigl(p_{X|Y}(x\,|\,y)/p_X(x)\bigr)=-\ln p_X(x)-\bigl(-\ln p_{X|Y}(x\,|\,y)\bigr)$ を平均したものである。$Y$ を知る前の $X$ の驚きから、$Y$ を知ったあとの驚きを引いた量なので、「$Y$ を観測すると $X$ についての不確かさが平均でどれだけ減るか」を表す。定義 (1.3.13) は $X,Y$ について対称なので、$Y$ が $X$ について教える量と $X$ が $Y$ について教える量は等しい。3つ目の等号は、1つ目に連鎖律 (1.3.12) を代入したものである。$Y=X$ とおくと $H(X\,|\,X)=0$ なので $I(X;X)=H(X)$ で、エントロピーは「自分自身との相互情報量」でもある。

図 1.3.3 は、式 (1.3.12) と (1.3.14) の関係を面積で表したものである。2つの円全体が $H(X,Y)$、左の円が $H(X)$、右の円が $H(Y)$、重なりが $I(X;Y)$ にあたる。ただし、この図は2変数の加減の関係を覚えるためのもので、3変数に広げた図の重なりの部分は負になることがあり、面積として読むことはできない。

非負性から出てくる2つの不等式

$I(X;Y)$ は相対エントロピーなので、Gibbs の不等式から $I(X;Y)\ge0$ で、等号は $p_{XY}=p_Xp_Y$、つまり $X$ と $Y$ が独立のときに限る。これを式 (1.3.14) の形に読み替えると、2つの不等式になる。

$$H(X\,|\,Y)\le H(X),\qquad H(X,Y)\le H(X)+H(Y) .\tag{1.3.15}$$

1つ目は「条件を付けると、平均のエントロピーは増えない」、2つ目は「結合エントロピーは和を超えない」（劣加法性）である。どちらも等号は独立のときに限る。劣加法性は、量子情報に移ると von Neumann エントロピーの劣加法性になり、そのさらに強い形（強劣加法性）が量子データ処理不等式と同じ内容になる。これは 第3部第3章 で扱う。

条件付き相互情報量と連鎖律

3つ目の確率変数 $Z$ があるとき、$Z=z$ を知ったうえでの $X$ と $Y$ の相互情報量を $z$ で平均したもの

$$I(X;Y\,|\,Z)\coloneqq H(X\,|\,Z)-H(X\,|\,Y,Z)=\sum_zp_Z(z)\,D\bigl(p_{XY|Z}(\cdot,\cdot\,|\,z)\,\big\|\,p_{X|Z}(\cdot\,|\,z)\,p_{Y|Z}(\cdot\,|\,z)\bigr)\tag{1.3.16}$$

を条件付き相互情報量と呼ぶ。右辺は $D$ の平均なので $I(X;Y\,|\,Z)\ge0$ で、等号は $Z$ を知ると $X$ と $Y$ が独立になる（$X$ と $Y$ が $Z$ のもとで条件付き独立）ときに限る。$H(X)-H(X\,|\,Y,Z)$ を $H(X)-H(X\,|\,Y)$ と $H(X\,|\,Y)-H(X\,|\,Y,Z)$ に分けると、相互情報量の連鎖律

$$I(X;Y,Z)=I(X;Y)+I(X;Z\,|\,Y)\tag{1.3.17}$$

を得る。$Y$ と $Z$ を合わせて観測したときに $X$ について分かる量は、まず $Y$ で分かる量と、$Y$ を知ったうえで $Z$ から追加で分かる量の和である。次の章のデータ処理不等式は、この式を2通りに展開して、$I(X;Z\,|\,Y)=0$（$X\to Y\to Z$ が Markov 連鎖）を使うことで示す。