Shannon エントロピー：驚きの平均

相対エントロピーから情報と物理を組み立てる　第1部 第2章 §1.2.2　★★★ 驚きを分布で平均したものが $H(X)$。一様分布と比べた $D$ で書くと、$0\le H\le\ln\lvert \mathcal X\rvert$ が出る

定義と基本の性質

驚きは値 $x$ ごとに違う確率変数で、$H$ はその平均である。Shannon は、場合分けに関する整合性（後の式 (1.2.8) の特別な場合）・連続性・等確率のときに場合の数について増加すること、の3条件から式 (1.2.3) の形が定数倍を除いて決まることを示した（C. E. Shannon (1948), Bell System Technical Journal 27, 379–423 と 623–656 の定理 2）。命題 1.2.1 は、個々の驚きに条件を課して同じ結論に達する別の道である。

2つの値をとる場合は特に使うので名前を付ける。

$$h_{\mathrm b}(p)=-p\ln p-(1-p)\ln(1-p)\qquad(0\le p\le1)\tag{1.2.4}$$

を二値エントロピーと呼ぶ（Planck 定数 $h$ と区別するため添字 b を付ける）。図 1.2.1 のように $p=1/2$ で最大値 $\ln2$（$1$ ビット）をとり、$p=0,1$ で $0$ になる。$\frac{\mathrm{d} h_{\mathrm b}}{\mathrm{d} p}=\ln\frac{1-p}{p}$ は $p\to0$ で発散するので、$p$ が $0$ から少し離れるだけでエントロピーは急に増える。たとえば $p=0.1$ で $h_{\mathrm b}=0.325$ nat $=0.469$ ビットあり、最大値の半分近くに達している。

$H$ の基本の性質を3つ挙げる。

左の不等式は、各項 $-p(x)\ln p(x)$ が $0\le p(x)\le1$ で $0$ 以上であることから出る。等号はすべての項が $0$、つまりどの $p(x)$ も $0$ か $1$ のときに限る。右の不等式を示すために、エントロピーを一様分布と比べた形に書き直す。

一様分布と比べる：$H=\ln\lvert \mathcal X\rvert -D(p\,\|\,u)$

2つの分布 $p,q$ について、次の章で相対エントロピー

$$D(p\,\|\,q)=\sum_xp(x)\ln\frac{p(x)}{q(x)}$$

を定義する。ここでは $q$ が一様分布 $u$ の場合だけを使う。$\ln(p(x)/u(x))=\ln p(x)+\ln\lvert \mathcal X\rvert$ なので

$$D(p\,\|\,u)=\sum_xp(x)\ln p(x)+\ln\lvert \mathcal X\rvert =\ln\lvert \mathcal X\rvert -H(p)\tag{1.2.6}$$

となる。エントロピーは、最大値 $\ln\lvert \mathcal X\rvert$ から「$p$ が一様分布からどれだけ離れているか」を測る $D(p\,\|\,u)$ を引いたものである。したがって、右の不等式 $H\le\ln\lvert \mathcal X\rvert$ は $D(p\,\|\,u)\ge0$ と同じことになる。

命題 1.2.3 の右の不等式の証明

$t>0$ について $\ln t\le t-1$ が成り立ち、等号は $t=1$ のときに限る（$t-1-\ln t$ は $t=1$ で最小値 $0$ をとる）。$p(x)>0$ となる $x$ の集合を $\operatorname{supp} p$ と書くと

$$-D(p\,\|\,u)=\sum_{x\in\operatorname{supp} p}p(x)\ln\frac{1}{\lvert \mathcal X\rvert p(x)} \le\sum_{x\in\operatorname{supp} p}p(x)\Bigl(\frac{1}{\lvert \mathcal X\rvert p(x)}-1\Bigr) =\frac{\lvert \operatorname{supp} p\rvert }{\lvert \mathcal X\rvert }-1\le0 .$$

等号には、$\operatorname{supp} p$ のすべての $x$ で $\lvert \mathcal X\rvert p(x)=1$ となり、しかも $\operatorname{supp} p=\mathcal X$ となることが要る。これは $p=u$ のときに限る。

一般の $q$ について $D(p\,\|\,q)\ge0$ を示すのは次の章の仕事で、そこでは Jensen の不等式から示す。上の証明は $q=u$ の場合に $\ln t\le t-1$ を使っただけで、同じ1行の議論が一般の $q$ でも使える。

2つの変数：結合エントロピーと条件付きエントロピー

2つの確率変数 $X,Y$ の組 $(X,Y)$ も1つの確率変数なので、同時分布 $p(x,y)$ のエントロピー$H(X,Y)=-\sum_{x,y}p(x,y)\ln p(x,y)$ が定まる。これを結合エントロピーと呼ぶ。また、$X=x$ と知ったときの $Y$ の条件付き分布 $p(y\,|\,x)$ のエントロピーを$x$ について平均した

$$H(Y\,|\,X)=\sum_xp(x)\Bigl(-\sum_yp(y\,|\,x)\ln p(y\,|\,x)\Bigr)=\langle -\ln p(Y\,|\,X) \rangle _{p}\tag{1.2.7}$$

を条件付きエントロピーと呼ぶ。驚きの分解 (1.2.2) の両辺を同時分布で平均すると、連鎖律

$$H(X,Y)=H(X)+H(Y\,|\,X)\tag{1.2.8}$$

を得る。$X$ と $Y$ が独立なら $H(Y\,|\,X)=H(Y)$ なので $H(X,Y)=H(X)+H(Y)$ である。$Y$ が $X$ の関数 $Y=g(X)$ なら、$X$ を知れば $Y$ は確定するので $H(Y\,|\,X)=0$ となり、連鎖律を2通りに使うと

$$H(X)=H(X,g(X))=H(g(X))+H(X\,|\,g(X))\ge H(g(X))\tag{1.2.9}$$

が出る。関数を通すと（値をまとめると）エントロピーは増えない。この不等式は、第1部第4章のデータ処理不等式のいちばん簡単な場合である。