確認テストの解答

数理統計　第9章 §9.7

1. 9.1-1 正規方程式は次の2式で、これはそのまま $\sum e_i=0$、$\sum x_ie_i=0$ である。

$$\textstyle\sum(Y_i-\hat\alpha-\hat\beta x_i)=0,\qquad \sum x_i(Y_i-\hat\alpha-\hat\beta x_i)=0 .$$

$\hat Y_i=\hat\alpha+\hat\beta x_i$ なので $\sum\hat Y_ie_i=\hat\alpha\sum e_i+\hat\beta\sum x_ie_i=0$。2. 9.1-2 $\hat\alpha=\bar Y-\hat\beta\bar x$ である。$c_i=(x_i-\bar x)/S_{xx}$ とおくと

$$\mathrm{Cov}(\bar Y,\hat\beta)=\mathrm{Cov}\Bigl(\frac1n\sum Y_i,\sum c_iY_i\Bigr)=\frac{\sigma^2}{n}\sum c_i=0 .$$

よって

$$V[\hat\alpha]=V[\bar Y]+\bar x^2V[\hat\beta]=\frac{\sigma^2}{n}+\frac{\bar x^2\sigma^2}{S_{xx}},\qquad \mathrm{Cov}(\hat\alpha,\hat\beta)=\mathrm{Cov}(\bar Y,\hat\beta)-\bar xV[\hat\beta]=-\frac{\bar x\sigma^2}{S_{xx}} .$$

無相関になるのは $\bar x=0$ のとき（説明変数を中心化したとき）である。3. 9.1-3 $Q(\beta)=\sum(Y_i-\beta x_i)^2$ を微分して0とおくと

$$\textstyle\sum x_i(Y_i-\beta x_i)=0,\qquad \tilde\beta=\sum x_iY_i/\sum x_i^2 .$$

$\tilde\beta$ は $Y_i$ の線形結合なので正規分布に従う。平均と分散は

$$E[\tilde\beta]=\frac{\sum x_i\cdot\beta x_i}{\sum x_i^2}=\beta,\qquad V[\tilde\beta]=\frac{\sigma^2\sum x_i^2}{(\sum x_i^2)^2}=\frac{\sigma^2}{\sum x_i^2} .$$

よって $\tilde\beta\sim\mathrm{N}(\beta,\sigma^2/\sum x_i^2)$。

計画行列は1列の $X=\bm{x}$ で、$p=1$ である。定理 9.6 より $S_e/\sigma^2\sim\chi^2_{n-1}$、したがって $E[S_e/(n-1)]=\sigma^2$。単回帰の証明に合わせるなら、$\bm{u}_1=\bm{x}/\lVert \bm{x}\rVert$ だけを使い、残り $n-1$ 方向に正規直交基底を補えばよい。4. 9.1-4 推定値と平方和は次のとおり。

$$\begin{aligned}\hat\beta&=60/40=1.5, & \hat\alpha&=20-1.5\times5=12.5,\\ S_R&=60^2/40=90, & S_e&=110-90=20, & R^2&=90/110=0.818 .\end{aligned}$$

検定統計量は

$$\hat\sigma^2=20/10=2,\qquad \sqrt{2/40}=0.2236,\qquad t=1.5/0.2236=6.708>2.228$$

なので $H_0$ を棄却する。（$\beta$ の 95% 信頼区間は $1.5\pm2.228\times0.2236=[1.002,\ 1.998]$。）5. 9.2-1 $X^\top X$ とその逆行列は次のとおり（行列式は $n\sum x_i^2-n^2\bar x^2=nS_{xx}$）。

$$X^\top X=\begin{pmatrix}n&n\bar x\\ n\bar x&\sum x_i^2\end{pmatrix},\qquad (X^\top X)^{-1}=\frac{1}{nS_{xx}}\begin{pmatrix}\sum x_i^2&-n\bar x\\ -n\bar x&n\end{pmatrix} .$$

$\bm{x}_i=(1,x_i)^\top$ として

$$h_{ii}=\frac{\sum_lx_l^2-2n\bar xx_i+nx_i^2}{nS_{xx}}=\frac{(S_{xx}+n\bar x^2)-2n\bar xx_i+nx_i^2}{nS_{xx}}=\frac1n+\frac{(x_i-\bar x)^2}{S_{xx}} .$$

和は $1+S_{xx}/S_{xx}=2=\operatorname{Tr} H$ で、命題 9.3 と一致する。6. 9.2-2 $\bm{\mu}=X\bm{\beta}$ とおく。$\bm{Y}=\bm{\mu}+\bm{\varepsilon}$ と $(I-H)\bm{\mu}=\bm{0}$ を使う。すると $S_e=\bm{\varepsilon}^\top(I-H)\bm{\varepsilon}$ となる。スカラーはトレースに等しいので

$$E[S_e]=E[\operatorname{Tr}((I-H)\bm{\varepsilon}\bm{\varepsilon}^\top)]=\operatorname{Tr}((I-H)E[\bm{\varepsilon}\bm{\varepsilon}^\top])=\sigma^2\operatorname{Tr}(I-H)=(n-p)\sigma^2 .$$ 7. 9.2-3 $X^\top X$ の行列式は $56-36=20$ で、

$$X^\top X=\begin{pmatrix}4&6\\6&14\end{pmatrix},\qquad (X^\top X)^{-1}=\frac1{20}\begin{pmatrix}14&-6\\-6&4\end{pmatrix} .$$

よって $V[\hat\beta_0]=0.7\sigma^2$、$V[\hat\beta_1]=0.2\sigma^2$。単回帰の式では $\bar x=1.5$、$S_{xx}=2.25+0.25+0.25+2.25=5$ なので、

$$V[\hat\beta_1]=\sigma^2/5=0.2\sigma^2,\qquad V[\hat\beta_0]=\sigma^2(1/4+2.25/5)=0.7\sigma^2$$

で一致する。共分散も $-6\sigma^2/20=-0.3\sigma^2=-\bar x\sigma^2/S_{xx}$ で一致する。8. 9.2-4 切片だけのモデルなので $S_{e0}=S_{YY}$ で、$q=p-1$ である。$S_e=(1-R^2)S_{YY}$ より $S_{e0}-S_e=R^2S_{YY}$。代入して

$$F=\frac{R^2S_{YY}/(p-1)}{(1-R^2)S_{YY}/(n-p)}=\frac{R^2/(p-1)}{(1-R^2)/(n-p)} .$$ 9. 9.3-1 足す前を $(S_e,p)$、足した後を $(S_e',p+1)$ とする。$S_{YY}/(n-1)$ は共通なので、$\bar R^2$ が増えることは次と同値である。

$$\frac{S_e'}{n-p-1}<\frac{S_e}{n-p} .$$

両辺に $(n-p)(n-p-1)$ を掛けて整理すると

$$(n-p)S_e'<(n-p-1)S_e\iff S_e'<(n-p-1)(S_e-S_e')\iff F=\frac{S_e-S_e'}{S_e'/(n-p-1)}>1 .$$

1変数を足すときの $F$ は、定理 9.7 で $q=1$ の場合である。よってその係数の $t$ 統計量の2乗に等しい。10. 9.3-2 $30\log(S_e/30)+2(p+1)$ を計算する。

$$\begin{aligned}p&=2: & 30\log4+6&=41.59+6=47.59,\\ p&=3: & 30\log3.2+8&=34.89+8=42.89,\\ p&=4: & 30\log(92/30)+10&=33.62+10=43.62 .\end{aligned}$$

最小の $p=3$ のモデルが選ばれる。11. 9.3-3 AIC が下がる条件は次のとおり。

$$n\log S_e'+2(p+2)<n\log S_e+2(p+1),\qquad\text{すなわち}\quad n\log(S_e/S_e')>2 .$$

$S_e/S_e'=1+F/(n-p-1)$ なので、条件は

$$F>(n-p-1)\bigl(\mathrm{e}^{2/n}-1\bigr) .$$

$n$ が大きいときは次の近似が成り立つ。

$$\mathrm{e}^{2/n}-1\approx\frac2n,\qquad \frac{n-p-1}{n}\approx1 .$$よって右辺はおよそ2である。つまり AIC は「$F$ が約2を超えれば変数を足す」規則で、5% の $F$ 検定（閾値は約4）より変数を入れやすい。12. 9.3-4 $h_{ii}=1/n+(x_i-\bar x)^2/S_{xx}$ なので、$\lvert x_i-\bar x\rvert$ が最大の観測、すなわち説明変数が平均から最も離れた観測で最大になる。$e_{(i)}=e_i/(1-h_{ii})$ なので、$h_{ii}\to1$ のとき分母が0に近づく。よって通常の残差 $e_i$ が小さくても、1つ抜き残差は大きくなる。てこ比の大きい点は回帰直線を自分の側へ引き寄せるので $e_i$ が小さく見え、除いて予測すると外れが大きいことがわかる。13. 9.4-1 確率関数を書き直すと

$$f(y)=\pi^y(1-\pi)^{1-y}=\exp\Bigl\{y\log\frac{\pi}{1-\pi}+\log(1-\pi)\Bigr\}.$$

$\theta=\log\{\pi/(1-\pi)\}$ とおくと、次が成り立つ。

$$\pi=\frac{\mathrm{e}^\theta}{1+\mathrm{e}^\theta},\qquad \log(1-\pi)=-\log(1+\mathrm{e}^\theta) .$$

よって $b(\theta)=\log(1+\mathrm{e}^\theta)$ で、$\phi=1,\ c=0$ である。微分すると

$$b'(\theta)=\frac{\mathrm{e}^\theta}{1+\mathrm{e}^\theta}=\pi,\qquad b''(\theta)=\frac{\mathrm{e}^\theta}{(1+\mathrm{e}^\theta)^2}=\pi(1-\pi)$$

で、平均と分散に一致する。14. 9.4-2 ポアソン分布の正準リンクは対数なので、式 (9.16) より尤度方程式は $X^\top(\bm{Y}-\hat{\bm{\mu}})=\bm{0}$（$\phi=1$）。切片の列 $\bm{1}$ に対応する成分は $\sum(Y_i-\hat\mu_i)=0$ で、これが主張である。15. 9.4-3 9.4-2 と同じ議論で、群ごとに $\sum_{\text{群}}\hat\mu_i=\sum_{\text{群}}Y_i$ が成り立つ。よって推定値は次のとおり。

$$\begin{aligned}\hat\mu_0&=30/10=3, & \hat\mu_1&=48/10=4.8 &&\text{（1単位あたり）},\\ \hat\beta_0&=\log3=1.099, & \hat\beta_1&=\log(4.8/3)=\log1.6=0.470 .\end{aligned}$$

群ごとに $w_g=\sum_{\text{群}}\hat\mu_i$ とおくと、$w_0=30,\ w_1=48$ である。情報行列はこの重みで、例題 9.5 と同じ形になる。よって

$$\mathrm{se}(\hat\beta_1)=\sqrt{1/w_0+1/w_1}=\sqrt{1/30+1/48}=0.2327 .$$

$z=0.470/0.2327=2.02>1.960$ なので、有意水準 5% で $H_0$ を棄却する。16. 9.4-4 $\pi=\mathrm{e}^\beta/(1+\mathrm{e}^\beta)$ である。初期値 $\beta=0$ では $\pi=1/2$ となる。スコアと情報量は

$$\textstyle\sum(y_i-1/2)=n(\bar y-1/2),\qquad n\pi(1-\pi)=n/4 .$$

よって $\beta^{(1)}=0+n(\bar y-1/2)/(n/4)=4(\bar y-1/2)$。$\bar y=0.7$ なら $\beta^{(1)}=0.8$。

最尤推定値は、尤度方程式 $\sum(y_i-\pi)=0$ から $\hat\pi=\bar y$ である。よって $\hat\beta=\log\{0.7/0.3\}=0.847$ で、1回目の反復ですでに近い値になっている。17. 9.5-1 $Y_{ij}-\bar Y=(\bar Y_{i\cdot}-\bar Y)+(Y_{ij}-\bar Y_{i\cdot})$ を2乗して和をとる。交差項は

$$2\sum_i(\bar Y_{i\cdot}-\bar Y)\sum_j(Y_{ij}-\bar Y_{i\cdot})=2\sum_i(\bar Y_{i\cdot}-\bar Y)(n_i\bar Y_{i\cdot}-n_i\bar Y_{i\cdot})=0 .$$

残りは $\sum_in_i(\bar Y_{i\cdot}-\bar Y)^2+\sum_i\sum_j(Y_{ij}-\bar Y_{i\cdot})^2=S_A+S_e$。18. 9.5-2 $S_A=\sum n_i\bar Y_{i\cdot}^2-N\bar Y^2$ と書ける。総平均 $\bar Y$ の平均は $\bar\mu$ である。その分散は $\sigma^2/N$ である。よって

$$E[\bar Y_{i\cdot}^2]=\mu_i^2+\sigma^2/n_i,\qquad E[\bar Y^2]=\bar\mu^2+\sigma^2/N .$$

よって

$$E[S_A]=\sum n_i\mu_i^2+k\sigma^2-N\bar\mu^2-\sigma^2=(k-1)\sigma^2+\sum n_i(\mu_i-\bar\mu)^2 .$$

最後の等号は $\sum n_i(\mu_i-\bar\mu)^2=\sum n_i\mu_i^2-N\bar\mu^2$ による。19. 9.5-3 $j\neq j'$ なら、他の組は独立で共分散0なので

$$\mathrm{Cov}(\mu+A_i+\varepsilon_{ij},\mu+A_i+\varepsilon_{ij'})=V[A_i]=\sigma_A^2 .$$

$i\neq i'$ なら共通の確率変数が無いので0。$V[Y_{ij}]=\sigma_A^2+\sigma^2$ なので、同じ群の2観測の相関係数は $\sigma_A^2/(\sigma_A^2+\sigma^2)$。20. 9.5-4 $F_0/(1+n\theta)\sim F_{4,15}$ より、確率 0.95 で次が成り立つ。

$$0.1155\le \frac{6.0}{1+4\theta}\le3.804 .$$

$\theta$ について解くと

$$\frac14\Bigl(\frac{6.0}{3.804}-1\Bigr)\le\theta\le\frac14\Bigl(\frac{6.0}{0.1155}-1\Bigr),\qquad\text{すなわち}\quad 0.144\le\theta\le12.73 .$$

群の数 $k=5$ は少ない。$\sigma_A^2$ の情報は自由度4の $S_A$ にしか入っておらず、そのため区間は広くなる。