確認テストの解答

数理統計　第11章 §11.5

§11.1

1. 11.1-1 $x>0$ で

$$P(X\le x)=P(-\log U\le\lambda x)=P(U\ge\mathrm{e}^{-\lambda x})=1-\mathrm{e}^{-\lambda x}$$

であり、これは $\mathrm{Ex}(\lambda)$ の分布関数である。

逆関数法では、$F(x)=1-\mathrm{e}^{-\lambda x}$ の逆関数に $U$ を入れる。その逆関数は $F^{-1}(u)=-\lambda^{-1}\log(1-u)$ である。

$1-U$ も $\mathrm U(0,1)$ に従う。そのため $1-U$ を $U$ に置き換えても、分布は変わらない。違いは引き算を1回省けることだけである。2. 11.1-2 $f(x)/1=6x(1-x)$ は $x=1/2$ で最大になり、最大値は 3/2 である。よって最小の $M$ は 3/2 である。採択の条件は $U\le f(Y)/M=4Y(1-Y)$。採択確率は $1/M=2/3$。試行回数は成功確率 $p=2/3$ の幾何分布（1 以上の値をとる形）に従う。平均は $1/p=3/2$、分散は $(1-p)/p^2=(1/3)/(4/9)=3/4$ である。3. 11.1-3 $\pi P=\pi$ の第1成分は $\pi_1(1-a)+\pi_2b=\pi_1$ である。整理すると $a\pi_1=b\pi_2$ となる。$\pi_1+\pi_2=1$ と合わせて

$$\pi=\Bigl(\frac b{a+b},\ \frac a{a+b}\Bigr)$$

を得る。詳細つり合いは $\pi_1p_{12}=\frac{ab}{a+b}=\pi_2p_{21}$ で成り立つ。

$P$ の固有値は 1 と $1-a-b$ である。トレースが $2-a-b$ であることから分かる。次のようにおく。

$$\Pi=\begin{pmatrix}\pi_1&\pi_2\\ \pi_1&\pi_2\end{pmatrix},\qquad D=\frac1{a+b}\begin{pmatrix}a&-a\\ -b&b\end{pmatrix}$$

すると次の関係が、成分の計算で確かめられる。

$$P=\Pi+(1-a-b)D,\qquad \Pi^2=\Pi,\quad D^2=D,\quad \Pi D=D\Pi=O$$

したがって

$$P^n=\Pi+(1-a-b)^nD$$

である。各行は $\pi$ との差が $(1-a-b)^n$ に比例する。$0<a,b<1$ より $\lvert 1-a-b\rvert <1$ である。よって各行は $\lvert 1-a-b\rvert ^n$ の速さで $\pi$ に近づく。4. 11.1-4 現在の点を $x=(x_1,x_2)$、候補を $y=(y_1,x_2)$ とする。このとき

$$\pi(y)q(y,x)=\pi(y_1,x_2)\pi(x_1\mid x_2),\qquad \pi(x)q(x,y)=\pi(x_1,x_2)\pi(y_1\mid x_2)$$

である。$\pi(u,x_2)=\pi_2(x_2)\pi(u\mid x_2)$ を両方に入れると、どちらも $\pi_2(x_2)\pi(y_1\mid x_2)\pi(x_1\mid x_2)$ になる。よって比は 1 である。したがって $\alpha=\min\{1,1\}=1$ で、候補は常に採択される。5. 11.1-5 推定量 $\hat p$ の分散は $p(1-p)/N$ である。よって相対誤差は $\sqrt{(1-p)/(Np)}$ である。これを 0.1 以下にする条件は

$$N\ge\frac{1-p}{0.01p}=\frac{0.97725}{0.0002275}\approx4295.6$$

で、最小の $N$ は 4296 である。

§11.2

1. 11.2-1 $n$ 種類から重複を許して同数を選ぶ組合せの数なので、$\binom{2n-1}{n}$ 通りである。$n=5$ では $\binom95=126$ 通りである。順序を区別した $n^n$ 通りのうち、すべて異なる並びは $n!$ 通りである。よって確率は $n!/n^n$ である。$n=5$ では $120/3125=0.0384$ になる。多重集合の126通りは等確率ではない（すべて異なるものは $5!$ 通りの並びに対応するが、1つの値が5回のものは1通り）ことに注意する。
2. 11.2-2 各回の抽出で $x_1$ が選ばれない確率は $1-1/n$ である。$n$ 回の抽出は独立なので、求める確率は $(1-1/n)^n$ である。 $n=10$ では $0.9^{10}\approx0.3487$ である。$n\to\infty$ の極限は $\mathrm{e}^{-1}\approx0.3679$ である。異なる観測値の個数は $\sum_{i=1}^n\bm 1\{x_i\text{ が現れる}\}$ なので、期待値は $n\{1-(1-1/n)^n\}\approx0.632n$ である。
3. 11.2-3 命題 11.11 から $E_\ast[\bar X^{\ast2}]=V_\ast[\bar X^\ast]+\bar x^2=\bar x^2+\hat\sigma^2/n$。偏りの推定は $\hat\sigma^2/n$、偏り修正推定量は $\bar x^2-\hat\sigma^2/n$ である。不偏推定量は $\bar X^2-S^2/n$ である。これは $E[\bar X^2]=\mu^2+\sigma^2/n$ と $E[S^2]=\sigma^2$ から分かる。ブートストラップの修正は $S^2$ の代わりに $\hat\sigma^2=\frac{n-1}nS^2$ を使ったものになる。差は $S^2/n^2$ で $\mathcal{O}(n^{-2})$ である。
4. 11.2-4 各 $X_i^\ast$ は独立で、確率 $\hat p$ で 1、残りの確率で 0 をとる。よって $n\hat p^\ast\sim\mathrm{Bin}(n,\hat p)$ となる。 $V_\ast[\hat p^\ast]=\hat p(1-\hat p)/n$ で、標準誤差の推定は $\sqrt{\hat p(1-\hat p)/n}$ である。0 と 1 だけをとる分布は $\mathrm{Bin}(1,p)$ の族で尽くされる。経験分布そのものが $\mathrm{Bin}(1,\hat p)$ なので、ノンパラメトリックとパラメトリックのブートストラップは同じ分布から抽出することになり、結果が一致する。

§11.3

1. 11.3-1 $\ell(\theta)=\theta\sum T(x_i)-nA(\theta)+\text{定数}$ なので $\ell''(\theta)=-nA''(\theta)$ で、データによらない。Fisher 情報量は $I_n(\theta)=-E[\ell''(\theta)]=nA''(\theta)$ なので $-\ell''(\theta)=I_n(\theta)$。Newton 法 (11.12) の分母 $-\ell''$ とスコア法 (11.15) の分母 $I_n$ が同じ値なので、2つの反復は一致する。
2. 11.3-2 $\ell'=r/\lambda-T$、$\ell''=-r/\lambda^2$ である。よって

$$\lambda_{k+1}=\lambda_k+\frac{\lambda_k^2}{r}\Bigl(\frac r{\lambda_k}-T\Bigr)=2\lambda_k-\frac{T}{r}\lambda_k^2$$

となる。$\hat\lambda=r/T$ を使うと

$$e_{k+1}=2\lambda_k-\frac{\lambda_k^2}{\hat\lambda}-\hat\lambda=-\frac{(\lambda_k-\hat\lambda)^2}{\hat\lambda}=-\frac Tr\,e_k^2$$

である。$u_k=e_k/\hat\lambda$ とおくと $u_{k+1}=-u_k^2$ である。よって $k\ge1$ で $\lvert u_k\rvert =\lvert u_0\rvert ^{2^k}$ となる。

• $\lvert u_0\rvert <1$ のとき：$u_k\to0$ で収束する。これは $0<\lambda_0<2\hat\lambda$ と同値である。
• $\lvert u_0\rvert >1$ のとき：$\lvert u_k\rvert \to\infty$ で発散する。
• $\lvert u_0\rvert =1$ のとき：初期値は 0 か $2\hat\lambda$ である。$u_k=-1$、すなわち $\lambda_k=0$ にとどまる。

したがって収束は $0<\lambda_0<2\hat\lambda$ のときに限る。例題の値では $\hat\lambda=0.2$ である。$\lambda_0=1$ から始めると $\lambda_1=2-5=-3$ となり、発散する。3. 11.3-3 第1セルの度数 $y_1$ を2つに分ける。確率 1/2 の部分を $z$、残りの部分を $y_1-z$ とする。完全データの対数尤度は、$\theta$ によらない項を除いて

$$(y_1-z+y_4)\log\theta+(y_2+y_3)\log(1-\theta)$$

である。E ステップは $z$ の条件付き期待値で、

$$z_k=y_1\cdot\frac{1/2}{1/2+\theta_k/4}=\frac{2y_1}{2+\theta_k}$$

である。M ステップは二項型の最尤推定で

$$\theta_{k+1}=\frac{y_1-z_k+y_4}{y_1-z_k+y_2+y_3+y_4}$$

となる。$\theta_0=0.5$ では $z_0=160/2.5=64$ である。よって $\theta_1=(16+24)/(16+70)=40/86\approx0.4651$ となる。

尤度方程式は

$$\frac{y_1}{2+\theta}-\frac{y_2+y_3}{1-\theta}+\frac{y_4}{\theta}=0$$

で、分母を払うと次の2次方程式になる（$n=150$）。

$$n\theta^2-\{y_1-2(y_2+y_3)-y_4\}\theta-2y_4=0$$

数値を入れると $150\theta^2+36\theta-48=0$、すなわち $25\theta^2+6\theta-8=0$ である。正の解は $\hat\theta=(\sqrt{209}-3)/25\approx0.4583$ である。EM を続けると $\theta_2\approx0.4594$、$\theta_3\approx0.4585$ となり、最尤推定値に近づく。4. 11.3-4 分散 1 の正規密度では $\log\phi(x;\mu,1)=-\frac12(x-\mu)^2+\text{定数}$ である。よって $w_i=w_i^{(k)}$ と書くと

$$Q=\sum_i\Bigl[w_i\bigl\{\log\pi-\tfrac12(x_i-\mu_1)^2\bigr\}+(1-w_i)\bigl\{\log(1-\pi)-\tfrac12(x_i-\mu_2)^2\bigr\}\Bigr]+\text{定数}$$

となる。$\partial Q/\partial\pi=\sum w_i/\pi-\sum(1-w_i)/(1-\pi)=0$ を解くと $\pi=\sum w_i/n$ である。

$\partial Q/\partial\mu_1=\sum w_i(x_i-\mu_1)=0$ から $\mu_1=\sum w_ix_i/\sum w_i$ である。$Q$ はこれらの母数についてそれぞれ凹なので、得た点は最大点である。$\mu_2$ の式も同様で、重みを $1-w_i$ に替えればよい。5. 11.3-5 $\ell(\theta)=-\log(1+\theta^2)+\text{定数}$ より

$$\ell'=-\frac{2\theta}{1+\theta^2},\qquad \ell''=-\frac{2(1-\theta^2)}{(1+\theta^2)^2}$$

である。よって

$$\theta_{k+1}=\theta_k-\frac{\ell'}{\ell''}=\theta_k-\theta_k\frac{1+\theta_k^2}{1-\theta_k^2}=\frac{-2\theta_k^3}{1-\theta_k^2}$$

となる。比は $\lvert \theta_{k+1}\rvert /\lvert \theta_k\rvert =2\theta_k^2/\lvert 1-\theta_k^2\rvert$ である。

• $\theta_k^2<1/3$ のとき：比は 1 より小さいので $\lvert \theta_k\rvert$ は減り続け、比も減る。よって

$$\lvert \theta_k\rvert \le\Bigl(\frac{2\theta_0^2}{1-\theta_0^2}\Bigr)^k\lvert \theta_0\rvert \to0$$

となる。0 の近くでは $\lvert \theta_{k+1}\rvert \approx2\lvert \theta_k\rvert ^3$ の3次収束である。

• $1/3<\theta_k^2<1$ のとき：比は 1 より大きい。
• $\theta_k^2>1$ のとき：比は $2\theta_k^2/(\theta_k^2-1)>2$ である。

後の2つでは $\lvert \theta_{k+1}\rvert >\lvert \theta_k\rvert \ge1/\sqrt3$ となる。よって $\lvert \theta_k\rvert$ は $1/\sqrt3$ より大きいまま増え続け、0 に収束しない。$\lvert \theta\rvert >1$ では $\ell''>0$ で、Newton 法が尤度の最大点でなく下に凸の部分の停留点へ向かうことが原因である。