この章のまとめ

(1) $X$ は $\Theta$ を見て作られ、$T$ は $X$ だけから、$R$ は $T$ だけから計算するので、同時分布は$p(\theta)\,p(x\,|\,\theta)\,\delta_{t,x_1+x_2}\,\delta_{r,\mathbf 1[t\ge1]}$ の形になり、式 (1.4.3) と同じ形の Markov 連鎖である。

$x$ の表の回数を $k$ とすると $p(x\,|\,\theta)=\theta^k(1-\theta)^{2-k}$。$\theta=1/4$ と $3/4$ で平均して

$$p(x)=\begin{cases}\frac12\bigl(\frac{9}{16}+\frac1{16}\bigr)=\frac5{16}&(k=0)\\[2pt] \frac12\bigl(\frac{3}{16}+\frac3{16}\bigr)=\frac3{16}&(k=1,\ x=(1,0),(0,1)\text{ のそれぞれ})\\[2pt] \frac5{16}&(k=2).\end{cases}$$

事後分布は Bayes の定理で $\Pr(\Theta=\tfrac14\,|\,x)=\frac{9/16}{10/16}=0.9$（$k=0$）、$\frac12$（$k=1$）、$0.1$（$k=2$）。$I(\Theta;X)=H(\Theta)-H(\Theta\,|\,X)$ で $H(\Theta)=\ln2$、$H(\Theta\,|\,X)=\frac{10}{16}h_{\mathrm b}(0.1)+\frac{6}{16}\ln2$（$k=0,2$ の確率の合計が $10/16$、$k=1$ が $6/16$）。よって

$$I(\Theta;X)=\frac{10}{16}\ln2-\frac{10}{16}h_{\mathrm b}(0.1)=\frac58\bigl(\ln2-h_{\mathrm b}(0.1)\bigr)=\frac58\times0.3681=0.2300\ \text{nat}.$$

(2) $T=1$ のとき $X$ は $(1,0)$ か $(0,1)$ で、どちらも確率 $\theta(1-\theta)$ なので条件付き分布は $(1/2,1/2)$。$T=0$ と $T=2$ では $X$ が1通りに決まる。どれも $\theta$ によらないので $T$ は十分である。式 (1.4.20) から $I(\Theta;T)=I(\Theta;X)=0.2300$ nat。直接計算でも、$T$ の分布 $(5/16,\,6/16,\,5/16)$ と事後分布 $0.9,\ 1/2,\ 0.1$ は (1) と同じなので、同じ値になる。

(3) 1回分の相対エントロピーは $D\bigl(\mathrm{Bern}(\tfrac14)\,\|\,\mathrm{Bern}(\tfrac34)\bigr)=\frac14\ln\frac13+\frac34\ln3=\frac12\ln3=0.5493$ nat。2回は独立なので連鎖律で $D(p^X_{1/4}\,\|\,p^X_{3/4})=\ln3=1.0986$ nat。$T$ は十分なので定理 1.4.5(b) から $D(p^T_{1/4}\,\|\,p^T_{3/4})=\ln3$ で等しい。直接計算しても、$p^T_{1/4}=(\frac9{16},\frac6{16},\frac1{16})$、$p^T_{3/4}=(\frac1{16},\frac6{16},\frac9{16})$ から $\frac9{16}\ln9+\frac1{16}\ln\frac19=\frac8{16}\ln9=\ln3$ となる。$X_1$ だけでは $\frac12\ln3=0.5493$ nat で、十分でない統計量なので $\ln3$ より小さい。

(4) $R=0$ は $T=0$ と同じなので $\Pr(R=0\,|\,\theta)=(1-\theta)^2$ で、$\theta=1/4$ なら $9/16$、$3/4$ なら $1/16$。よって $p(R=0)=\frac5{16}$、$p(R=1)=\frac{11}{16}$、事後分布は $\Pr(\Theta=\tfrac14\,|\,R=0)=0.9$ である。$\Pr(R=1\,|\,\theta)$ は $\theta=1/4$ で $\frac{7}{16}$、$\theta=3/4$ で $\frac{15}{16}$ なので、$\Pr(\Theta=\tfrac14\,|\,R=1)=\frac{7}{7+15}=\frac7{22}$。したがって

$$I(\Theta;R)=\ln2-\frac5{16}h_{\mathrm b}(0.1)-\frac{11}{16}h_{\mathrm b}\Bigl(\frac7{22}\Bigr)=0.6931-0.1016-0.4300=0.1615\ \text{nat}.$$

$0.1615<0.2300$ で、定理 1.4.3 のとおりである。差 $I(\Theta;T\,|\,R)=0.0685$ nat が正なのは、$R=1$ の中に $T=1$（事後確率 $1/2$）と $T=2$（事後確率 $0.1$）という事後分布の違う2つの場合がまとめられているからである。$R$ を知った後でも $T$ を見ると $\Theta$ についての情報が増えるので、$\Theta\to R\to T$ は成り立たない。

(5) $X$ の分布 $(\frac5{16},\frac3{16},\frac3{16},\frac5{16})$ から $H(X)=1.3547$ nat、$T$ の分布 $(\frac5{16},\frac6{16},\frac5{16})$ から $H(T)=1.0948$ nat。差 $H(X)-H(T)=H(X\,|\,T)=\frac6{16}\ln2=0.2599$ nat は、$T=1$ のときに表が1回目か2回目かという驚きの分である。$T$ はこの驚きを捨てるので $X$ より短い要約になるが、(2) の条件付き分布が $\theta$ によらないので捨てた部分は $\Theta$ と無関係であり、式 (1.4.20) の等号 $I(\Theta;T)=I(\Theta;X)$ が成り立つ。