ミニマックス性と許容性の理論

任意の推定量 $\delta$ について、最大値は平均以上で、ベイズ推定量のベイズリスクは最小なので

$$\sup_\theta R(\theta,\delta)\ge\int R(\theta,\delta)\pi(\theta)\,\mathrm{d}\theta=r(\pi,\delta)\ge r(\pi,\delta_\pi)\ge\sup_\theta R(\theta,\delta_\pi).$$

最後の不等号は仮定による。$\delta$ は任意なので $\delta_\pi$ の最大リスクが最小である。

任意の推定量 $\delta'$ をとる。定理 10.16 の証明と同じく、各 $k$ で

$$\sup_\theta R(\theta,\delta')\ge r(\pi_k,\delta')\ge r(\pi_k,\delta_k)$$

が成り立つ。$k\to\infty$ とすると

$$\sup_\theta R(\theta,\delta')\ge\lim_kr(\pi_k,\delta_k)\ge\sup_\theta R(\theta,\delta).$$

$\delta'$ が $\delta_\pi$ を優越すると仮定する。すべての $\theta$ で $R(\theta,\delta')\le R(\theta,\delta_\pi)$ なので、事前分布で平均して

$$r(\pi,\delta')\le r(\pi,\delta_\pi).$$

$\delta_\pi$ のベイズリスクは最小なので等号が成り立ち、$\delta'$ もベイズ推定量である。

一意性から $\delta'=\delta_\pi$（確率1）となり、リスク関数は一致する。これは $\delta'$ が狭義に小さいリスクを持つ母数の値があることに反する。

$\varphi(z)=\frac1{\sqrt{2\pi}}\mathrm e^{-(z-\theta)^2/2}$ は $\varphi'(z)=-(z-\theta)\varphi(z)$ を満たす。部分積分により

$$E[(Z-\theta)g(Z)]=\int g(z)(z-\theta)\varphi(z)\,\mathrm{d} z=-\int g(z)\varphi'(z)\,\mathrm{d} z=\bigl[-g\varphi\bigr]_{-\infty}^{\infty}+\int g'(z)\varphi(z)\,\mathrm{d} z=E[g'(Z)].$$

境界項は $g\varphi\to0$（$\lvert z\rvert \to\infty$）で消える。

$\bm g(\bm x)=(p-2)\bm x/\lVert \bm x\rVert ^2$ とおくと $\bm\delta_{\mathrm{JS}}=\bm X-\bm g(\bm X)$ で、

$$\lVert \bm X-\bm g-\bm\theta\rVert ^2=\lVert \bm X-\bm\theta\rVert ^2-2\sum_i(X_i-\theta_i)g_i(\bm X)+\lVert \bm g\rVert ^2 .$$

他の成分を固定して補題 10.19 を第 $i$ 成分に当てはめると $E[(X_i-\theta_i)g_i(\bm X)]=E[\partial g_i/\partial x_i]$ である。

$$\frac{\partial }{\partial x_i}\Bigl(\frac{x_i}{\lVert \bm x\rVert ^2}\Bigr)=\frac1{\lVert \bm x\rVert ^2}-\frac{2x_i^2}{\lVert \bm x\rVert ^4} \quad\text{より}\quad \sum_i\frac{\partial g_i}{\partial x_i}=(p-2)\Bigl(\frac p{\lVert \bm x\rVert ^2}-\frac2{\lVert \bm x\rVert ^2}\Bigr)=\frac{(p-2)^2}{\lVert \bm x\rVert ^2}.$$

また $\lVert \bm g\rVert ^2=(p-2)^2/\lVert \bm X\rVert ^2$。よって

$$R(\bm\theta,\bm\delta_{\mathrm{JS}})=p-2(p-2)^2E\Bigl[\frac1{\lVert \bm X\rVert ^2}\Bigr]+(p-2)^2E\Bigl[\frac1{\lVert \bm X\rVert ^2}\Bigr]=p-(p-2)^2E\Bigl[\frac1{\lVert \bm X\rVert ^2}\Bigr].$$

$p\ge3$ なら $E[1/\lVert \bm X\rVert ^2]$ は有限かつ正である。原点の近くで $1/\lVert \bm x\rVert ^2$ が3次元以上で積分可能だからである。よってリスクは $p$ より狭義に小さい。