この章のまとめ

(1) $p_{XY}(0,0)=1-a=\frac12$、$p_{XY}(1,0)=as=\frac18$、$p_{XY}(1,1)=a(1-s)=\frac38$、$p_{XY}(0,1)=0$ である。$p_Y(1)=a(1-s)=\frac38$、$p_Y(0)=\frac58$。$H(X)=\ln2\approx0.6931$、$H(Y)=h_{\mathrm b}(3/8)\approx0.6616$。$X=0$ なら $Y$ は確定し、$X=1$ なら $Y$ は $(s,1-s)$ の2値なので、$H(Y\,|\,X)=\frac12\cdot0+\frac12h_{\mathrm b}(1/4)\approx0.2812$。

(2) $I(X;Y)=H(Y)-H(Y\,|\,X)=h_{\mathrm b}(3/8)-\frac12h_{\mathrm b}(1/4)\approx0.6616-0.2812=0.3804$ nat（$0.549$ ビット）。$H(X\,|\,Y)=H(X)-I(X;Y)\approx0.6931-0.3804=0.3128$ nat。$Y=1$ なら $X=1$ が確定し、$Y=0$ なら $X$ は $(4/5,1/5)$ なので、$H(X\,|\,Y)=\frac58h_{\mathrm b}(1/5)\approx\frac58\times0.5004=0.3128$ とも一致する。

(3) $p_X(x)p_Y(y)$ は $(0,0)$ で $\frac12\cdot\frac58=\frac5{16}$、$(1,0)$ で $\frac5{16}$、$(1,1)$ で $\frac12\cdot\frac38=\frac3{16}$ である（$(0,1)$ は $p_{XY}=0$ なので寄与しない）。

$$D(p_{XY}\,\|\,p_Xp_Y)=\frac12\ln\frac{8}{5}+\frac18\ln\frac{2}{5}+\frac38\ln2\approx0.2350-0.1145+0.2599=0.3804$$

で、(2) と一致する。

(4) 4つの値で $\lvert p_{XY}-p_Xp_Y\rvert$ は、$(0,0)$ で $\lvert \frac12-\frac5{16}\rvert =\frac3{16}$、$(0,1)$ で $\frac3{16}$、$(1,0)$ で $\lvert \frac18-\frac5{16}\rvert =\frac3{16}$、$(1,1)$ で $\lvert \frac38-\frac3{16}\rvert =\frac3{16}$ なので、$\lVert p_{XY}-p_Xp_Y\rVert _1=\frac34=0.75$。一方 $\sqrt{2I}=\sqrt{2\times0.3804}\approx0.872$ で、$0.75\le0.872$ が成り立つ。

(5) $p_Y(1)=a(1-s)$、$H(Y\,|\,X)=a\,h_{\mathrm b}(s)$ なので $I(a)=h_{\mathrm b}\bigl(a(1-s)\bigr)-a\,h_{\mathrm b}(s)$。2回微分すると

$$I''(a)=-\frac{(1-s)^2}{t(1-t)}<0,\qquad t\coloneqq a(1-s),$$

で凹である。$I'(a)=(1-s)\ln\frac{1-t}{t}-h_{\mathrm b}(s)=0$ を解くと $t^*=1/\bigl(1+\mathrm{e}^{h_{\mathrm b}(s)/(1-s)}\bigr)$。$s=1/4$ では$h_{\mathrm b}(1/4)/(3/4)\approx0.7498$ から $t^*\approx0.3209$、$a^*=t^*/(1-s)\approx0.428$、最大値 $I(a^*)=h_{\mathrm b}(t^*)-a^*h_{\mathrm b}(1/4)\approx0.3869$ nat である。状態 $1$ は読み落とされやすいので、$1$ を少し減らして（$a^*<1/2$）$Y$ の曖昧さを減らしたほうが、伝わる情報がわずかに増える。

(6) $n$ 個の系は独立で、それぞれ同じ測定器で独立に読むので、$p_{X^nY^n}=p_{XY}^{\otimes n}$、$p_{X^n}p_{Y^n}=(p_Xp_Y)^{\otimes n}$ である。式 (1.3.20) から $I(X^n;Y^n)=D(p_{XY}^{\otimes n}\,\|\,(p_Xp_Y)^{\otimes n})=nI(X;Y)$。前の章の典型系列の議論によると、$X^n$ の典型的な系列はおよそ $\mathrm{e}^{nH(X)}$ 個あり、$Y^n$ を知ったあとに残る候補は（条件付き分布の典型系列として）およそ $\mathrm{e}^{nH(X|Y)}$ 個である。比は $\mathrm{e}^{n(H(X)-H(X|Y))}=\mathrm{e}^{nI(X;Y)}$ で、$n=100$ では $\mathrm{e}^{38.04}\approx3.3\times10^{16}$、つまり候補はおよそ $3\times10^{16}$ 分の1に絞られる。