確認テストの解答

数理統計　第6章 §6.6

6.1 統計的推測

1. 6.1-1 同時確率関数は$f_n(\bm{x};\lambda)=\prod\frac{\lambda^{x_i}\mathrm{e}^{-\lambda}}{x_i!}=\lambda^{\sum x_i}\mathrm{e}^{-n\lambda}\cdot\frac{1}{\prod x_i!}$。合計を $t=\sum x_i$ とする。$g(t;\lambda)=\lambda^t\mathrm{e}^{-n\lambda}$ と $h(\bm{x})=1/\prod x_i!$ とおく。これは分解定理の形なので、$\sum X_i$ は十分統計量である。
2. 6.1-2 $t=0$ なら $P(X_1=1\mid T=0)=0$ である。$t\ge1$ のときは、残りの和を $R=\sum_{i\ge2}X_i$ とおく。1回目が成功したもとでは、条件 $T=t$ は条件 $R=t-1$ と同じである。$R\sim\mathrm{Bin}(n-1,p)$ と $X_1$ は独立だから

$$P(X_1=1\mid T=t)=\frac{p\cdot\binom{n-1}{t-1}p^{t-1}(1-p)^{n-t}}{\binom{n}{t}p^t(1-p)^{n-t}}=\frac{\binom{n-1}{t-1}}{\binom nt}=\frac tn.$$

$t=0$ の場合も $t/n=0$ と一致する。いずれも $p$ を含まない。3. 6.1-3 同時密度は

$$\begin{aligned}f_n(\bm{x};\alpha,\beta)&=\frac{1}{\Gamma(\alpha)^n\beta^{n\alpha}}\Bigl(\prod x_i\Bigr)^{\alpha-1}\exp\Bigl(-\frac{1}{\beta}\sum x_i\Bigr)\\ &=\frac{1}{\Gamma(\alpha)^n\beta^{n\alpha}}\exp\Bigl((\alpha-1)\sum\log x_i-\frac1\beta\sum x_i\Bigr).\end{aligned}$$

(a) 2つのパラメータがともに未知なら、パラメータを含む因子は $(\sum x_i,\sum\log x_i)$ を通してデータに依存する。よって $(\sum X_i,\sum\log X_i)$ が十分統計量である（対数の和の代わりに積 $\prod X_i$ でもよい）。(b) 形のパラメータが既知なら、因子 $(\prod x_i)^{\alpha-1}/\Gamma(\alpha)^n$ を $h$ に入れられる。よって $\sum X_i$ だけで十分である。4. 6.1-4 $0<t<\theta$ について $P(X_{(n)}\le t)=P(\text{すべての }X_i\le t)=(t/\theta)^n$。微分して、密度は$f_T(t)=\dfrac{nt^{n-1}}{\theta^n}$（$0<t<\theta$）。5. 6.1-5 $f_n(\bm{x};\theta)=g(T(\bm{x});\theta)h(\bm{x})$ とする。$U=\psi(T)$ とおくと $T=\psi^{-1}(U)$ である。そこで

$$\tilde g(u;\theta)=g(\psi^{-1}(u);\theta)\quad\text{と定めれば}\quad f_n(\bm{x};\theta)=\tilde g(U(\bm{x});\theta)h(\bm{x})$$

となる。分解定理から $U$ は十分統計量である。（正規分布で $(\sum X_i,\sum X_i^2)$ から $(\bar X,S^2)$ へ移れたのはこの性質による。）

6.2 点推定量の導出方法

1. 6.2-1 対数尤度と導関数は

$$\ell(\lambda)=\Bigl(\sum x_i\Bigr)\log\lambda-n\lambda-\sum\log x_i!,\qquad\ell'(\lambda)=\frac{\sum x_i}{\lambda}-n$$

である。合計で場合を分ける。

• 合計が正のとき：導関数は $\lambda=\bar x$ で 0 になり、その前後で正から負へ変わる。よって $\hat\lambda=\bar x$ である。
• 合計が 0 のとき：$\ell(\lambda)=-n\lambda$ は正の範囲で単調減少し、$\lambda\to0$ で上限をとる。パラメータ空間を $\lambda\ge0$ に広げれば、$\hat\lambda=0=\bar x$ である。

どちらの場合も $\hat\lambda=\bar X$ と書ける。$P(X_1=0)=\mathrm{e}^{-\lambda}$ はパラメータの1対1の関数である。不変性（定理 6.6）から、最尤推定量は $\mathrm{e}^{-\bar X}$ である。2. 6.2-2 $L(p)=p^n(1-p)^{\sum x_i-n}$、$\ell(p)=n\log p+(\sum x_i-n)\log(1-p)$。尤度方程式を解く。

$$\ell'(p)=\frac np-\frac{\sum x_i-n}{1-p}=0\iff n(1-p)=p\Bigl(\sum x_i-n\Bigr)\iff p=\frac{n}{\sum x_i}=\frac1{\bar x}$$

$\ell''(p)=-n/p^2-(\sum x_i-n)/(1-p)^2<0$ なので最大点である。よって $\hat p=1/\bar X$。（すべての $x_i=1$ のときは $\hat p=1$ で、境界での最大になる。）3. 6.2-3 $\ell(\theta)=-n\log2-\sum\lvert x_i-\theta\rvert$ である。よって最尤推定量は、次の $Q$ を最小にする点である。

$$Q(\theta)=\sum\lvert x_i-\theta\rvert$$

$Q$ は連続な折れ線で、観測値でない点では

$$Q'(\theta)=\#\{i:x_i<\theta\}-\#\{i:x_i>\theta\}$$

である。$n=2m+1$ とし、順序統計量 $x_{(1)}\le\dots\le x_{(n)}$ を使って場合を分ける。

• $\theta<x_{(m+1)}$ では、左にある観測値は $m$ 個以下である。よって $Q'\le m-(m+1)<0$。
• $\theta>x_{(m+1)}$ では、左にある観測値は $m+1$ 個以上である。よって $Q'\ge(m+1)-m>0$。

したがって $Q$ は $x_{(m+1)}$ まで減少し、そこから増加する。最小点は標本中央値 $\hat\theta=X_{(m+1)}$ である。4. 6.2-4 (a) 対数尤度は $\ell(\lambda)=n\log\lambda-\lambda\sum x_i$ である。尤度方程式 $n/\lambda-\sum x_i=0$ から $\hat\lambda=1/\bar X$ を得る。2階導関数 $-n/\lambda^2$ は負なので、これは最大点である。 (b) $E[X^2]=V[X]+E[X]^2=1/\lambda^2+1/\lambda^2=2/\lambda^2$。$2/\lambda^2=m_2'=\frac1n\sum X_i^2$ を解いて $\tilde\lambda=\sqrt{2/m_2'}$。 1次の積率を使うと最尤推定量と同じ $1/\bar X$ になるが、2次の積率を使うと別の推定量になる。積率法の答えは使う積率の選び方に依存する。5. 6.2-5 $L(\theta)=\prod\mathbf{1}\{\theta\le x_i\le\theta+1\}=\mathbf{1}\{\theta\le x_{(1)}\}\mathbf{1}\{x_{(n)}-1\le\theta\}$。尤度は閉区間 $[x_{(n)}-1,\ x_{(1)}]$ の上で 1、それ以外で 0 である。よって、この閉区間の点はすべて最尤推定値である。データは幅 1 の台の中にあるので、$x_{(n)}-x_{(1)}\le1$ であり、区間は空でない。最尤推定値は一意とは限らない。たとえば中点 $\frac12(X_{(1)}+X_{(n)})-\frac12$ を選ぶのが自然である。

6.3 推定量の評価

1. 6.3-1 $\log f(x;p)=x\log p+(1-x)\log(1-p)$、$\dfrac{\partial^2\log f}{\partial p^2}=-\dfrac{x}{p^2}-\dfrac{1-x}{(1-p)^2}$。$E[X]=p$ を入れて符号を変えると $I(p)=\dfrac1p+\dfrac{1}{1-p}=\dfrac{1}{p(1-p)}$。$\bar X$ は不偏で $V[\bar X]=p(1-p)/n=1/(nI(p))$ なので、下限を達成し、有効推定量である。
2. 6.3-2 $\log f=-\frac12\log(2\pi v)-\frac{(x-\mu)^2}{2v}$、$\dfrac{\partial^2\log f}{\partial v^2}=\dfrac{1}{2v^2}-\dfrac{(x-\mu)^2}{v^3}$。$E[(X-\mu)^2]=v$ から $I(v)=-\dfrac{1}{2v^2}+\dfrac{v}{v^3}=\dfrac{1}{2v^2}$。下限は $1/(nI(v))=2v^2/n=2\sigma^4/n$。一方 $E[\hat v]=v$ である。$(X_i-\mu)^2/v\sim\chi^2_1$ の分散は 2 なので

$$V[\hat v]=\frac{1}{n^2}\cdot n\cdot2v^2=\frac{2\sigma^4}{n}$$

である。下限に一致するので有効推定量である。3. 6.3-3 (a) 6.1-4 の密度から$E[X_{(n)}]=\int_0^\theta t\frac{nt^{n-1}}{\theta^n}\mathrm{d} t=\frac{n}{n+1}\theta$、$E[X_{(n)}^2]=\frac{n}{n+2}\theta^2$。よって $E[\theta_1]=\theta$ で不偏である。分散は

$$\begin{aligned}V[X_{(n)}]&=\frac{n}{n+2}\theta^2-\frac{n^2}{(n+1)^2}\theta^2=\frac{n\theta^2}{(n+1)^2(n+2)},\\ V[\theta_1]&=\frac{(n+1)^2}{n^2}V[X_{(n)}]=\frac{\theta^2}{n(n+2)}\end{aligned}$$

である。

(b) $V[X_i]=\theta^2/12$ より $V[\theta_2]=4\cdot\frac{\theta^2}{12n}=\frac{\theta^2}{3n}$。$E[\theta_2]=\theta$ で不偏。分散の比は $V[\theta_1]/V[\theta_2]=3/(n+2)$ で、$n\ge2$ なら 1 より小さい。$n=1$ では $\theta_1=\theta_2=2X_1$ で一致する。4. 6.3-4 (a) 対数密度とその導関数は

$$\log f=\log\lambda-\lambda x,\qquad s=\frac1\lambda-x,\qquad\frac{\partial^2\log f}{\partial\lambda^2}=-\frac1{\lambda^2}$$

である。2通りの式で計算すると一致する。

$$I=E\Bigl[\Bigl(\frac1\lambda-X\Bigr)^2\Bigr]=V[X]=\frac1{\lambda^2},\qquad I=-E\Bigl[-\frac1{\lambda^2}\Bigr]=\frac1{\lambda^2}$$

(b) 定理 6.14 から $\sqrt n(\hat\lambda-\lambda)\xrightarrow{d}\mathrm{N}(0,\lambda^2)$。デルタ法でも同じ分散を得る。$\sqrt n(\bar X-1/\lambda)\to\mathrm{N}(0,1/\lambda^2)$ に $g(u)=1/u$ を使う。$g'(1/\lambda)^2=\lambda^4$ なので、分散は $\lambda^4/\lambda^2=\lambda^2$ である。

(c) $U=\sum X_i\sim\mathrm{Ga}(n,1/\lambda)$ である。例題 6.5 (2) と同じ計算から

$$E[U^{-1}]=\frac{\lambda}{n-1},\qquad E[U^{-2}]=\frac{\lambda^2}{(n-1)(n-2)}$$

である。よって

$$E[\lambda^*]=\lambda,\qquad V[\lambda^*]=(n-1)^2\frac{\lambda^2}{(n-1)(n-2)}-\lambda^2=\frac{\lambda^2}{n-2}$$

である。下限は $1/(nI)=\lambda^2/n$ なので、分散は下限より大きい。比 $n/(n-2)$ は、$n\to\infty$ で 1 に近づく。5. 6.3-5 $E[S^2]=\sigma^2$ なので偏りは 0 である。$(n-1)S^2/\sigma^2\sim\chi^2_{n-1}$ の分散は $2(n-1)$ なので

$$V[S^2]=\frac{\sigma^4}{(n-1)^2}\cdot2(n-1)=\frac{2\sigma^4}{n-1}$$

である。よって $\mathrm{MSE}(S^2)=2\sigma^4/(n-1)\to0$ で、命題 6.10 から一致推定量である。

6.4 発展的事項

1. 6.4-1 対数比は

$$\log\frac{g(z)}{f(z)}=\frac{(z-\mu_2)^2-(z-\mu_1)^2}{2\sigma^2}$$

である。$Z\sim g$ のとき

$$E[(Z-\mu_1)^2]=\sigma^2,\qquad E[(Z-\mu_2)^2]=\sigma^2+(\mu_1-\mu_2)^2$$

なので、$D(g\,\|\,f)=\dfrac{(\mu_1-\mu_2)^2}{2\sigma^2}$ である。2. 6.4-2 対数密度は $\log f=-\frac12\log(2\pi)-\log\sigma-\frac{(x-\mu)^2}{2\sigma^2}$ である。2階偏導関数は

$$\frac{\partial^2\log f}{\partial\mu^2}=-\frac{1}{\sigma^2},\qquad\frac{\partial^2\log f}{\partial\mu\partial\sigma}=-\frac{2(x-\mu)}{\sigma^3},\qquad \frac{\partial^2\log f}{\partial\sigma^2}=\frac{1}{\sigma^2}-\frac{3(x-\mu)^2}{\sigma^4}$$

である。期待値を取り符号を変えると、$\sigma$ 成分は $-\frac{1}{\sigma^2}+\frac{3}{\sigma^2}=\frac{2}{\sigma^2}$ となる。よって

$$I(\mu,\sigma)=\mathrm{diag}\Bigl(\frac{1}{\sigma^2},\frac{2}{\sigma^2}\Bigr)$$

であり、$\hat\sigma_{\mathrm{ML}}$ の漸近分散は $\frac1n(I^{-1})_{22}=\frac{\sigma^2}{2n}$ である。デルタ法では $g(v)=\sqrt v$ とおく。導関数 $g'(v)=\frac{1}{2\sqrt v}=\frac{1}{2\sigma}$ と、最尤推定量の漸近分散 $2\sigma^4/n$ から

$$\frac{1}{4\sigma^2}\cdot\frac{2\sigma^4}{n}=\frac{\sigma^2}{2n}$$

を得る。2つは一致する。3. 6.4-3 モデル1では $\hat\lambda=4$、モデル2では $\hat\lambda_A=3.6,\ \hat\lambda_B=4.4$ である。 $\ell_2-\ell_1=36\log3.6+44\log4.4-80\log4=46.114+65.191-110.904=0.401$。$\mathrm{AIC}_1-\mathrm{AIC}_2=2\times0.401-2=-1.20<0$ なので、AIC が小さいモデル1（共通の平均）が選ばれる。最大対数尤度の増分 $0.40$ が罰則の増分 $1$ より小さい。4. 6.4-4 モデル0の最大対数尤度は $100\log\frac12$、モデル1は $x\log\frac{x}{100}+(100-x)\log\frac{100-x}{100}$。モデル1が選ばれる条件は $-2\ell_1+2<-2\ell_0$、すなわち $d(x)=\ell_1-\ell_0>1$。(a) $x=60$ のとき

$$d=60\log0.6+40\log0.4-100\log0.5=-67.301+69.315=2.014>1$$

で、モデル1が選ばれる（$\mathrm{AIC}_0=138.63,\ \mathrm{AIC}_1=136.60$）。(b) $d(x)$ は $x>50$ で増加する。$d(57)=0.983,\ d(58)=1.286$ なので、最小の $x$ は 58 である。5. 6.4-5 $\bm W_n=\sqrt n(\hat\theta-\theta_0)$ とおくと $\bm W_n\xrightarrow{d}\mathrm{N}_k(\bm0,I^{-1})$。$I$ は正定値対称なので、対称な平方根 $I^{1/2}$ がある。線形変換は連続なので $\bm Z_n=I^{1/2}\bm W_n\xrightarrow{d}\mathrm{N}_k(\bm0,I^{1/2}I^{-1}I^{1/2})=\mathrm{N}_k(\bm0,E_k)$。ここで $n\bm\delta^\top I\bm\delta=\bm W_n^\top I\bm W_n=\lVert \bm Z_n\rVert ^2$ である。写像 $\bm z\mapsto\lVert \bm z\rVert ^2$ も連続である。連続写像定理により、$\lVert \bm Z_n\rVert ^2$ は独立な標準正規変数の2乗和、すなわち $\chi^2_k$ に分布収束する。