確認テストの解答

数理統計　第10章 §10.7

§10.1

1. 10.1-1 $\delta'$ が $\delta\equiv1/2$ を優越すると仮定する。すると $R(1/2,\delta')\le R(1/2,\delta)=0$ なので

$$\sum_{x=0}^n\Bigl(\delta'(x)-\frac12\Bigr)^2\binom nx2^{-n}=0 .$$

どの観測値も正の確率 $\binom nx2^{-n}$ を持つ。よってすべての $x$ で $\delta'(x)=1/2$ となる。つまり $\delta'=\delta$ である。

するとリスクはすべての $p$ で等しく、狭義に小さくなる $p$ は無い。これは優越の定義に反するので、$\delta$ は許容的である。2. 10.1-2 $T\sim\mathrm{Ga}(n,\theta)$ より

$$E[T]=n\theta,\qquad V[T]=n\theta^2 .$$

よって

$$R(\theta,cT)=c^2n\theta^2+(cn-1)^2\theta^2=\theta^2\{c^2n(n+1)-2cn+1\}.$$

$c$ で微分して 0 とおくと $2n(n+1)c-2n=0$ である。すなわち $c^\ast=1/(n+1)$ で、最小値は

$$\theta^2\Bigl\{\frac n{n+1}-\frac{2n}{n+1}+1\Bigr\}=\frac{\theta^2}{n+1}.$$

$\bar X$ は $c=1/n$ に当たる。そのリスクは $\theta^2/n$ で、最適な $cT$ の方がリスクが小さい。3. 10.1-3 密度を $f$、分布関数を $F$ とする。

$$h(d)=E\lvert Y-d\rvert =\int_{-\infty}^d(d-y)f(y)\,\mathrm{d} y+\int_d^\infty(y-d)f(y)\,\mathrm{d} y$$

を $d$ で微分する。境界から出る項は、被積分関数が $y=d$ で 0 なので消える。よって

$$h'(d)=\int_{-\infty}^df(y)\,\mathrm{d} y-\int_d^\infty f(y)\,\mathrm{d} y=2F(d)-1 .$$

$h'$ は単調非減少なので $h$ は凸である。最小になるのは $F(d)=1/2$、すなわち $d$ が中央値のときである。密度が無い場合も同じ結論になる。右微分が $2F(d)-1$、左微分が $2F(d-)-1$ だからである。4. 10.1-4 $E[c\bar X]=c\lambda$、$V[c\bar X]=c^2\lambda/n$ なので

$$R(\lambda,c\bar X)=\frac{c^2\lambda}n+(1-c)^2\lambda^2,\qquad R(\lambda,\bar X)=\frac\lambda n .$$

$c\bar X$ の方が小さい条件を変形する。

$$\begin{aligned}&\frac{c^2\lambda}n+(1-c)^2\lambda^2<\frac\lambda n\\ \iff&(1-c)^2\lambda<\frac{1-c^2}n &&(\text{両辺を }\lambda>0\text{ で割った})\\ \iff&0<\lambda<\frac{1+c}{n(1-c)} &&(\text{両辺を }1-c>0\text{ で割った}).\end{aligned}$$

$\lambda$ がこれより大きいと $\bar X$ の方がリスクが小さく、どちらも他方を優越しない。

§10.2

1. 10.2-1 $T$ はデータそのものなので十分である（条件付き分布は1点に集中し、母数によらない）。$\phi(T)=X_1-X_2$ とおく。すべての $\mu$ で $E_\mu[\phi(T)]=\mu-\mu=0$ が成り立つ。しかし $X_1-X_2\sim\mathrm N(0,2)$ なので $P(\phi(T)=0)=0\ne1$ である。よって $T$ は完備でない。
2. 10.2-2 $M$ の密度 $nm^{n-1}/\theta^n$ より

$$E[M]=\frac n{\theta^n}\int_0^\theta m^n\,\mathrm{d} m=\frac{n\theta}{n+1}.$$

よって $\eta(M)=(n+1)M/n$ は不偏である。$M$ は完備十分統計量なので（§10.2 の例）、これが UMVUE である。$E[M^2]=\dfrac n{\theta^n}\int_0^\theta m^{n+1}\,\mathrm{d} m=\dfrac{n\theta^2}{n+2}$ より

$$V[\eta(M)]=\frac{(n+1)^2}{n^2}\cdot\frac{n\theta^2}{n+2}-\theta^2=\theta^2\,\frac{(n+1)^2-n(n+2)}{n(n+2)}=\frac{\theta^2}{n(n+2)} .$$ 3. 10.2-3 $T\sim\mathrm{Po}(n\lambda)$ について

$$E[T(T-1)]=\sum_{t\ge2}t(t-1)\frac{(n\lambda)^t\mathrm e^{-n\lambda}}{t!}=(n\lambda)^2\sum_{t\ge2}\frac{(n\lambda)^{t-2}\mathrm e^{-n\lambda}}{(t-2)!}=(n\lambda)^2 .$$

よって $T(T-1)/n^2$ は $\lambda^2$ の不偏推定量で、完備十分統計量の関数である。定理 10.7 によりこれが UMVUE である。4. 10.2-4 $\bar X$ は完備十分統計量で、$\bar X\sim\mathrm N(\mu,1/n)$ である。$E[\bar X^2]=\mu^2+1/n$ より、UMVUE は $\bar X^2-1/n$ である。$Z\sim\mathrm N(0,1)$ を使って $\bar X=\mu+Z/\sqrt n$ と書くと

$$\bar X^2=\mu^2+\frac{2\mu Z}{\sqrt n}+\frac{Z^2}n .$$

$V[Z]=1$、$V[Z^2]=2$ である。さらに $\mathrm{Cov}(Z,Z^2)=E[Z^3]=0$ なので

$$V[\bar X^2-1/n]=\frac{4\mu^2}n+\frac2{n^2}.$$

Fisher 情報量は $I(\mu)=1$、また $g'(\mu)^2=4\mu^2$ である。よって下界は $4\mu^2/n$ である。UMVUE の分散は下界より $2/n^2$ だけ大きく、下界には一致しない。

§10.3

1. 10.3-1 データを $c$ ずらしたときの動きで判定する。

   • $\bar X$・中央値・$\bar X+1$ はどれも同じだけずれる。よってこの3つは位置同変である。
   • $2\bar X$ は $2c$ ずれる。$X_{(n)}-X_{(1)}$ は変わらない。よってこの2つは位置同変ではない。

2. 10.3-2 $f(z)=\mathbf 1\{-\frac12<z<\frac12\}$ より、尤度は次のとおりである。

$$\prod f(x_i-\theta)=\begin{cases}1 & (x_{(n)}-\frac12<\theta<x_{(1)}+\frac12),\\ 0 & (\text{それ以外}).\end{cases}$$

この区間上の一様分布の平均として、Pitman 推定量は $\delta^\ast=(X_{(1)}+X_{(n)})/2$ である。

リスクは母数が 0 のときに計算すればよい。$U_i$ を単位区間上の一様分布とし、観測を $X_i=U_i-\frac12$ と書くと

$$\delta^\ast=\frac{U_{(1)}+U_{(n)}}2-\frac12 .$$

対称性より平均は 0 で、リスクは分散

$$\frac14\Bigl\{\frac{2n}{(n+1)^2(n+2)}+\frac{2}{(n+1)^2(n+2)}\Bigr\}=\frac14\cdot\frac{2(n+1)}{(n+1)^2(n+2)}=\frac1{2(n+1)(n+2)}$$

である。$\bar X$ のリスク $1/(12n)$ と比べるため、分母の差を計算する。

$$2(n+1)(n+2)-12n=2n^2-6n+4=2(n-1)(n-2)$$

よって $n\ge3$ では Pitman 推定量のリスクが $\bar X$ より小さい。$n=1,2$ では中点と標本平均が一致するので、両者は等しい。Pitman 推定量のリスクは $1/n^2$ の速さで減る。これは標本平均の $1/n$ より速い。3. 10.3-3 $W=\sum X_i^2/\sigma^2\sim\chi^2_n$ なので

$$E[W]=n,\qquad E[W^2]=2n+n^2=n(n+2),\qquad c^\ast=\frac{E[W]}{E[W^2]}=\frac1{n+2}.$$

リスクは $c^{\ast2}n(n+2)-2c^\ast n+1=\dfrac n{n+2}-\dfrac{2n}{n+2}+1=\dfrac2{n+2}$。4. 10.3-4 $\sum_i(x_i-\theta)^2=\sum_i(x_i-\bar x)^2+n(\theta-\bar x)^2$ より、尤度は

$$\prod f(x_i-\theta)=C(\bm x)\exp\{-n(\theta-\bar x)^2/2\}$$

の形である（$C(\bm x)$ は母数を含まない）。分母は $C\int\mathrm e^{-n(\theta-\bar x)^2/2}\mathrm{d}\theta=C\sqrt{2\pi/n}$ である。分子は $\theta=\bar x+u$ と置換して、奇関数の積分が 0 になることを使う。

$$C\int(\bar x+u)\mathrm e^{-nu^2/2}\,\mathrm{d} u=C\bar x\sqrt{2\pi/n}+0$$

比は $\bar x$ である。

§10.4

1. 10.4-1 $m=E[\theta\mid\bm x]$ とおき、$\theta-d=(\theta-m)+(m-d)$ と分ける。2乗して事後期待値をとる。交差項は $2(m-d)E[\theta-m\mid\bm x]=0$ なので

$$E[(\theta-d)^2\mid\bm x]=V[\theta\mid\bm x]+(m-d)^2 .$$

第1項は $d$ によらないので、$d=m$ のとき最小である。2. 10.4-2 命題 10.13 (2) で次の値を使う。

$$\alpha=2,\qquad \beta=1,\qquad n=5,\qquad t=12$$

事後分布は $\mathrm{Ga}(14,\,1/6)$ で、ベイズ推定値は $14/6=7/3\approx2.333$ である。一方、標本平均は 2.4、事前平均は $\alpha\beta=2$、データの重みは $n\beta/(n\beta+1)=5/6$ である。重み付き平均は

$$\frac56\cdot2.4+\frac16\cdot2=2+\frac13=\frac73$$

で一致する。3. 10.4-3 $n/\sigma^2=4/4=1$、$1/\tau^2=1$ である。

• 事後精度は 2。
• 事後平均は $(1\cdot2+1\cdot0)/2=1$。
• 事後分散は $1/2$。

よって $\theta\mid\bm x\sim\mathrm N(1,1/2)$ である。事後分散はデータによらないので、ベイズリスク（事後期待損失の平均）は $1/2$ である。比較のため、$\bar X$ のリスクは $\sigma^2/n=1$ である。4. 10.4-4 仮に $X/n$ が $\pi$ に関するベイズ推定量だとする。$X/n$ は不偏なので、命題 10.14 より $r(\pi,X/n)=0$ である。しかし

$$r(\pi,X/n)=\int_0^1\frac{p(1-p)}n\,\pi(\mathrm{d} p)$$

で、$\pi$ は開区間 $(0,1)$ に確率1を置く。その上で $p(1-p)>0$ なので、このベイズリスクは正である。矛盾するので、$X/n$ はベイズ推定量にならない。

§10.5

1. 10.5-1 $\delta$ がミニマックスでないとする。すると $\sup_\theta R(\theta,\delta')<c$ を満たす推定量 $\delta'$ がある。このときすべての $\theta$ で

$$R(\theta,\delta')<c=R(\theta,\delta)$$

となり、$\delta'$ は $\delta$ を優越する。これは許容性に反するので、$\delta$ はミニマックスである。2. 10.5-2 $R(\theta,cX)=c^2V[X]+(c\theta-\theta)^2=c^2+(1-c)^2\theta^2$ である。場合を分ける。

• $c\ne1$ なら、$\theta\to\pm\infty$ でリスクは発散する。よって最大リスクは $\infty$ である。
• $c=1$ なら、リスクは恒等的に 1 で、最大リスクも 1 である。

したがって $cX$ の形の中でミニマックスなものは、$c=1$ のときだけである。3. 10.5-3 $\chi^2_p$ の密度 $\dfrac{x^{p/2-1}\mathrm e^{-x/2}}{2^{p/2}\Gamma(p/2)}$ より

$$E\Bigl[\frac1{\chi^2_p}\Bigr]=\frac{1}{2^{p/2}\Gamma(p/2)}\int_0^\infty x^{p/2-2}\mathrm e^{-x/2}\,\mathrm{d} x=\frac{2^{p/2-1}\Gamma(p/2-1)}{2^{p/2}\Gamma(p/2)}=\frac{1}{2(p/2-1)}=\frac1{p-2}\quad(p\ge3).$$

$\bm\theta=\bm0$ では $\lVert \bm X\rVert ^2\sim\chi^2_p$ である。式 (10.8) より、リスクは

$$p-\frac{(p-2)^2}{p-2}=2 .$$

次元によらず 2 である。これは $\bm X$ のリスク $p$ より小さい。差は $p-2$ である。4. 10.5-4 一様事前分布のもとで、$x$ を与えたときの重み付き事後期待損失は

$$h_x(d)=\binom nx\int_0^1(d-p)^2p^{x-1}(1-p)^{n-x-1}\,\mathrm{d} p$$

に比例する。場合を分けて最小点を調べる。

• $1\le x\le n-1$ では積分は有限である。定理 10.12 (2) より、最小点は

$$d=\frac{\int_0^1p^{x}(1-p)^{n-x-1}\mathrm{d} p}{\int_0^1p^{x-1}(1-p)^{n-x-1}\mathrm{d} p}=\frac{B(x+1,n-x)}{B(x,n-x)}=\frac{x}{n}$$

である（$B(a+1,b)/B(a,b)=a/(a+b)$ を使った）。

• $x=0$ では次の積分を考える。

$$h_0(d)=\int_0^1(d-p)^2(1-p)^{n-1}p^{-1}\,\mathrm{d} p$$

$p\to0$ で被積分関数は $d^2/p$ のようにふるまう。これが有限であるには $d=0$ が必要である。$d=0$ なら $h_0(0)=\int_0^1p(1-p)^{n-1}\mathrm{d} p<\infty$ である。

• 同様に、$x=n$ では $d=1$ のときだけ有限になる。

したがって、有限なベイズリスクを持つベイズ推定量は $X/n$ に限られ、一意である。そのベイズリスクは $\int_0^1\frac{p(1-p)/n}{p(1-p)}\mathrm{d} p=1/n<\infty$ である。定理 10.18 より、$X/n$ は重み付き損失のもとで許容的である。

2乗損失のもとで、$\delta'$ が $X/n$ を優越すると仮定する。不等式 $R(p,\delta')\le R(p,X/n)$ を正の数 $p(1-p)$ で割ると、重み付き損失のリスクについて同じ不等式が成り立ち、狭義の不等号も保たれる。これは重み付き損失での許容性に反する。よって $X/n$ は2乗損失のもとでも許容的である。