この章のまとめ

(1) 驚きは a が $\log_2 2=1$ ビット、b と c が $\log_2 4=2$ ビットである。$H(X)=\frac12\cdot1+\frac14\cdot2+\frac14\cdot2=1.5$ ビット（$1.5\ln2\approx1.040$ nat）。上限は $\log_2 3\approx1.585$ ビットで、式 (1.2.6) から $D(p\,\|\,u)=\log_2 3-1.5\approx0.0850$ ビット（$0.0589$ nat）である。

(2) $Y$ は確率 $1/2$ ずつで $1$（a）と $0$（a でない）をとるので $H(Y)=1$ ビット。$Y=1$ なら $X$ は a に決まり、条件付きエントロピーは $0$、$Y=0$ なら $X$ は b と c が等確率で $1$ ビットなので、$H(X\,|\,Y)=\frac12\cdot0+\frac12\cdot1=0.5$ ビット。$H(Y)+H(X\,|\,Y)=1.5=H(X)$ で連鎖律が成り立つ。$Y$ は $X$ の関数なので $H(Y)\le H(X)$ にもなっている（式 (1.2.9)）。

(3) 驚きは確率 $1/2$ で $1$、確率 $1/2$ で $2$ ビットなので、平均 $1.5$、分散 $\sigma_s^2=\frac12(1-1.5)^2+\frac12(2-1.5)^2=0.25$ ビット$^2$（$0.25(\ln2)^2\approx0.120$ nat$^2$）。Chebyshev の評価で $\sigma_s^2/(n\epsilon^2)=0.25/(0.01n)\le0.05$ から $n\ge500$、最小の $n$ は $500$ である。

(4) 系列の数は多項係数 $\dfrac{8!}{4!\,2!\,2!}=420$ である。そのような系列1つの確率は $(1/2)^4(1/4)^2(1/4)^2=2^{-12}$ で、$nH=8\times1.5=12$ なので$2^{-nH}$ に等しい。文字の割合がちょうど $p$ に一致する系列では、驚きの和が $n$ 個の文字の驚きの平均のちょうど $n$ 倍になるからである。上限は $2^{12}=4096$、下限は $4096/9^2\approx50.6$ で、$50.6\le420\le4096$ が成り立つ。下限の $(n+1)^2$ は、$n$ 文字の中の a と b の個数がそれぞれ $n+1$ 通り以下で、「文字の割合」の種類が $(n+1)^2$ 以下しかないことに由来する（2値の場合が命題 1.2.9 の左の不等式）。この組の系列全体の確率は $420\times2^{-12}\approx0.103$ である。

(5) 等確率 $u$ と仮定すると、式 (1.2.15) から1文字あたりの驚きは $H(p)+D(p\,\|\,u)=\log_2 3\approx1.585$ ビットに集まり、真の分布で予想した場合より $D(p\,\|\,u)\approx0.085$ ビット多い。符号の長さで言えば、1文字に $\log_2 3$ ビットを割り当てる符号は、$p$ を知って作る符号より1文字あたり約 $0.085$ ビット長い（符号として実際に作れることは第1部第5章で示す）。等確率の情報源のもとでは全系列が等確率なので、$p$ の典型系列が出る確率は典型集合が全体に占める割合$\approx2^{nH}/3^n=2^{-nD(p\,\|\,u)}$ で、$n$ が $1$ 増えるごとにおよそ $2^{-0.085}\approx0.943$ 倍ずつ小さくなる。比べる2つの分布が $p$ と一様分布 $u$ の場合にあたり、第1部第3章で一般の $q$ に広げる。