出てくるもの（1）：エントロピーの上限と条件付きエントロピー

相対エントロピーから情報と物理を組み立てる　第1部 第3章 §1.3.3　★★★ 一様分布と比べるとエントロピーの上限が出て、結合分布の驚きを2つに分けると条件付きエントロピーと連鎖律が出る

一様分布と比べる

$\mathcal X$ の上の一様分布を $u(x)=1/\lvert \mathcal X\rvert$ とする。任意の分布 $p$ について

$$D(p\,\|\,u)=\sum_xp(x)\ln\bigl(p(x)\lvert \mathcal X\rvert \bigr)=\ln\lvert \mathcal X\rvert -H(p)$$

なので、

$$H(p)=\ln\lvert \mathcal X\rvert -D(p\,\|\,u)\tag{1.3.9}$$

が成り立つ。Gibbs の不等式から $H(p)\le\ln\lvert \mathcal X\rvert$ で、等号は $p=u$ のときに限る。一方、$-\ln p(x)\ge0$ なので $H(p)\ge0$ で、等号は $p$ がある1つの値に確率1を置くときである。まとめると

$$0\le H(X)\le\ln\lvert \mathcal X\rvert .\tag{1.3.10}$$

式 (1.3.9) は、エントロピーを「一様分布からどれだけ離れているか」の裏返しとして読む式である。最大エントロピーが一様分布で実現されるという主張は、Gibbs の不等式の等号条件そのものである。この形は、統計力学で「エネルギーの平均だけを知っているときの分布」を求める問題（第2部第1章）で、比べる相手を一様分布から別の分布に替えて使う。

結合エントロピーと条件付きエントロピー

2つの確率変数 $X,Y$ が有限集合 $\mathcal X,\mathcal Y$ に値をとり、結合分布 $p_{XY}(x,y)$ を持つとする。周辺分布を$p_X(x)=\sum_yp_{XY}(x,y)$、$p_Y(y)=\sum_xp_{XY}(x,y)$、$p_Y(y)>0$ のときの条件付き分布を $p_{X|Y}(x\,|\,y)=p_{XY}(x,y)/p_Y(y)$ と書く。組 $(X,Y)$ を1つの確率変数とみたエントロピー

$$H(X,Y)\coloneqq-\sum_{x,y}p_{XY}(x,y)\ln p_{XY}(x,y)$$

を結合エントロピーと呼ぶ。

第1部第2章で定義した条件付きエントロピー（式 (1.2.7)）と連鎖律（式 (1.2.8)）を、相互情報量に使う形で書き直しておく。$Y=y$ を知ったあとの $X$ の分布 $p_{X|Y}(\cdot\,|\,y)$ のエントロピーを $H(X\,|\,Y=y)$ と書くと、それを $p_Y$ で平均したもの

$$H(X\,|\,Y)=\sum_yp_Y(y)H(X\,|\,Y=y)=-\sum_{x,y}p_{XY}(x,y)\ln p_{X|Y}(x\,|\,y)\tag{1.3.11}$$

が、$Y$ を知ったときの $X$ の条件付きエントロピーである（第2章の式で $X$ と $Y$ の役を入れ替えたもの）。

結合分布の驚きは、$p_{XY}(x,y)=p_Y(y)\,p_{X|Y}(x\,|\,y)$ の対数をとって

$$-\ln p_{XY}(x,y)=-\ln p_Y(y)-\ln p_{X|Y}(x\,|\,y)$$

と2つに分かれる。「$y$ が出た驚き」と「$y$ を知ったうえで $x$ が出た驚き」の和である。これを $p_{XY}$ で平均すると、エントロピーの連鎖律

$$H(X,Y)=H(Y)+H(X\,|\,Y)=H(X)+H(Y\,|\,X)\tag{1.3.12}$$

を得る。変数が $n$ 個でも同じで、$H(X_1,\dots,X_n)=\sum_{i=1}^nH(X_i\,|\,X_1,\dots,X_{i-1})$ となる（$i=1$ の項は $H(X_1)$）。

$H(X\,|\,Y=y)$ は1つの分布のエントロピーなので、式 (1.3.10) から $0\le H(X\,|\,Y=y)\le\ln\lvert \mathcal X\rvert$ を満たす。平均した $H(X\,|\,Y)$ も同じ範囲にある。$H(X\,|\,Y)=0$ となるのは、確率が正のすべての $y$ で $X$ が $y$ から確定するとき、つまり $X$ が $Y$ の関数であるときである。$H(X\,|\,Y)$ を $H(X)$ と比べるには、次の節の相互情報量を使う。