仮説検定と Stein の補題

達成（$\beta_n^\epsilon$ をここまで小さくできる）：$\delta>0$ を決め、対数尤度比 (1.8.17) が $D(p_0\|p_1)-\delta$ 以上の系列の集合を $A_n$ とする。$p_0$ のもとで対数尤度比の平均はちょうど $D(p_0\|p_1)$ なので、大数の法則から $\alpha_n=p_0^n(A_n^{\mathrm c})\to0$ で、十分大きな $n$ で $\alpha_n\le\epsilon$ になる。$A_n$ の上では $p_1^n(x^n)\le p_0^n(x^n)\,\mathrm{e}^{-n(D(p_0\|p_1)-\delta)}$ なので、$\beta_n=p_1^n(A_n)\le\mathrm{e}^{-n(D(p_0\|p_1)-\delta)}p_0^n(A_n)\le\mathrm{e}^{-n(D(p_0\|p_1)-\delta)}$。

逆（これより小さくはできない）：任意の検定 $A_n$ を、系列 $x^n$ を「$A_n$ に入るか否か」の2値に写す通信路とみなす。データ処理不等式（第1部第4章）と $D(p_0^n\|p_1^n)=nD(p_0\|p_1)$ から、2値の分布の相対エントロピー$d(x\|y)=x\ln\frac xy+(1-x)\ln\frac{1-x}{1-y}$ について

$$nD(p_0\|p_1)\ge d(1-\alpha_n\,\|\,\beta_n)\ge(1-\alpha_n)\ln\frac{1}{\beta_n}-h_{\mathrm b}(\alpha_n)\ge(1-\epsilon)\ln\frac1{\beta_n}-\ln2.\tag{1.8.19}$$

2つ目の不等号は $d(x\|y)=-h_{\mathrm b}(x)+x\ln\frac1y+(1-x)\ln\frac1{1-y}$ の最後の項が非負であることによる。したがって$-\frac1n\ln\beta_n\le\frac{D(p_0\|p_1)+\ln2/n}{1-\epsilon}$。ここから $\limsup-\frac1n\ln\beta_n^\epsilon\le D(p_0\|p_1)/(1-\epsilon)$ が出る。$\epsilon$ によらず $D(p_0\|p_1)$ まで上界を下げるには、達成の側と似た集合 $B_n$（対数尤度比が $D+\delta$ 以下）を使い、$\beta_n\ge p_1^n(A_n\cap B_n)\ge\mathrm{e}^{-n(D+\delta)}p_0^n(A_n\cap B_n)\ge\mathrm{e}^{-n(D+\delta)}(1-\epsilon-p_0^n(B_n^{\mathrm c}))$ とする。大数の法則から $p_0^n(B_n^{\mathrm c})\to0$ なので、$\limsup-\frac1n\ln\beta_n^\epsilon\le D(p_0\|p_1)+\delta$ で、$\delta$ は任意である。