確認テストの解答

統計学の復習　第14章 §14.8

§14.1 散布図と相関係数

1. 14.1-1 身長の偏差は $1/100$ 倍、体重の偏差は $1000$ 倍になるので、共分散は $1000/100=10$ 倍になる。相関係数は変わらない（$1$ 倍）。一般に $u_i-\bar u=a(x_i-\bar x)$、$v_i-\bar v=c(y_i-\bar y)$ なので $S_{uv}=acS_{xy}$、$S_{uu}=a^2S_{xx}$、$S_{vv}=c^2S_{yy}$ で、$r_{uv}=acS_{xy}/(\lvert a\rvert \lvert c\rvert \sqrt{S_{xx}S_{yy}})=\mathrm{sgn}(ac)\,r_{xy}$ である。$a$ と $c$ が同符号なら変わらず、異符号なら符号だけが反転する。
2. 14.1-2 $S_{xx}=200-30^2/5=20$、$S_{yy}=340-40^2/5=20$、$S_{xy}=250-30\times40/5=10$ である。共分散は $10/5=2$、不偏共分散は $10/4=2.5$、相関係数は $10/\sqrt{20\times20}=0.5$ である。
3. 14.1-3 (i) $\bar x=0$ で $S_{xy}=\sum x_i(x_i^2-\bar y)=\sum x_i^3-\bar y\sum x_i=0-0=0$ なので $r=0$ である。(ii) $\bar x=2$、$\bar y=6$ で、偏差は $x$ が $-2,-1,0,1,2$、$y$ が $-6,-5,-2,3,10$ である。$S_{xx}=10$、$S_{yy}=36+25+4+9+100=174$、$S_{xy}=12+5+0+3+20=40$ で、$r=40/\sqrt{1740}=0.959$ である。どちらも $y$ は $x$ で完全に決まるが、相関係数は直線的な関係の強さしか測らない。(i) は放物線の左右が逆向きで直線の傾向が打ち消し合い、(ii) は放物線の右半分だけで直線に近いので $r$ が $1$ に近い。
4. 14.1-4 $\sum\tilde x_i^2=\sum\tilde y_i^2=1$、$\sum\tilde x_i\tilde y_i=r$ なので、$0\le\sum(\tilde x_i-\tilde y_i)^2=1-2r+1=2(1-r)$ から $r\le1$、$0\le\sum(\tilde x_i+\tilde y_i)^2=2(1+r)$ から $r\ge-1$ である。$r=1$ となるのは $\tilde x_i=\tilde y_i$ がすべての $i$ で成り立つとき、$r=-1$ となるのは $\tilde x_i=-\tilde y_i$ のときで、どちらも点が1本の直線に乗る場合である。

§14.2 偏相関係数と層別解析

1. 14.2-1 $z$ の影響を除くと $x$ と $y$ の相関はほとんど残らないので、$r_{xy}=0.70$ の大部分は $z$ を通した擬相関であり、$x$ と $y$ の直接の関係は弱いと解釈する。
2. 14.2-2 分子は $0.5-0.6\times0.7=0.08$、分母は $\sqrt{(1-0.36)(1-0.49)}=\sqrt{0.64\times0.51}=\sqrt{0.3264}=0.5713$ で、$r_{xy\cdot z}=0.08/0.5713=0.140$ である。
3. 14.2-3 $r_{xz}=0$ を式 (14.6) に入れると $r_{xy\cdot z}=r_{xy}/\sqrt{1-r_{yz}^2}$ で、$0<\sqrt{1-r_{yz}^2}\le1$ なので $\lvert r_{xy\cdot z}\rvert \ge\lvert r_{xy}\rvert$ である。数値は $0.3/\sqrt{1-0.64}=0.3/0.6=0.5$ である。$y$ の散らばり $S_{yy}$ のうち割合 $r_{yz}^2=0.64$ は $x$ と無関係な $z$ で説明される。この部分は $x$ との相関を薄める雑音として $S_{yy}$ に入っていたので、$z$ で説明される分を除いた残り $\sum(e^y_i)^2=S_{yy}(1-r_{yz}^2)$ と比べると、$x$ との関係の割合が大きく見える。
4. 14.2-4 層 $A$ の点 $i$ では $x_i-\bar x=(x_i-\bar x_A)+(\bar x_A-\bar x)$、$y_i-\bar y=(y_i-\bar y_A)+(\bar y_A-\bar y)$ である。積を層 $A$ の中で足すと

$$\sum_{i\in A}(x_i-\bar x)(y_i-\bar y)=S^A_{xy}+(\bar y_A-\bar y)\sum_{i\in A}(x_i-\bar x_A)+(\bar x_A-\bar x)\sum_{i\in A}(y_i-\bar y_A)+n_A(\bar x_A-\bar x)(\bar y_A-\bar y)$$

で、層の中の偏差の和はどちらも $0$ なので中央の2項が消える。層 $B$ も同じで、2つの層を足すと式 (14.7) になる。

§14.3 単回帰分析と最小二乗法

1. 14.3-1 $x=\bar x$ を入れると $b_0+b_1\bar x=(\bar y-b_1\bar x)+b_1\bar x=\bar y$ である。
2. 14.3-2 $\bar x=3.5$、$\bar y=8$、$b_1=14/17.5=0.8$、$b_0=8-0.8\times3.5=5.2$ で、$\hat y=5.2+0.8x$ である。
3. 14.3-3 $c_1=S_{xy}/S_{yy}=13/22=0.5909$、$c_0=\bar x-c_1\bar y=3-0.5909\times6=-0.545$ で、$\hat x=-0.545+0.591y$ である。一般に $b_1c_1=\dfrac{S_{xy}}{S_{xx}}\cdot\dfrac{S_{xy}}{S_{yy}}=r^2$ で、この例では $1.3\times13/22=16.9/22=0.768=169/220$ である。2本の直線はどちらも $(\bar x,\bar y)$ を通る。$\hat x=c_0+c_1y$ を $y$ について解いた直線の傾きは $1/c_1$ で、$b_1=1/c_1\iff b_1c_1=1\iff r^2=1$ なので、一致するのは $\lvert r\rvert =1$ のときに限る。
4. 14.3-4 $\sum(y_i-bx_i)^2=\sum y_i^2-2b\sum x_iy_i+b^2\sum x_i^2$ を平方完成すると、最小にする $b$ は $b=\sum x_iy_i/\sum x_i^2$ である。$(1,1),(2,1)$ では $b=(1+2)/(1+4)=0.6$、残差は $1-0.6=0.4$ と $1-1.2=-0.2$ で、和は $0.2\ne0$ である。成り立つのは $\sum x_ie_i=0.4-0.4=0$ だけで、切片を推定しないので「残差の和が $0$」という正規方程式がない。

§14.4 予測値と残差

1. 14.4-1 正規方程式 (14.12) の1本目 $\sum(y_i-b_0-b_1x_i)=0$ は $Q$ を切片 $b_0$ で微分して $0$ と置いた式で、その左辺がそのまま残差の和だからである。
2. 14.4-2 $S_R=b_1S_{xy}=0.8\times14=11.2$、$S_e=20-11.2=8.8$ である。$r^2=14^2/(17.5\times20)=196/350=0.56$ で、$S_R/S_{yy}=11.2/20=0.56$ と一致する。
3. 14.4-3 $\bar x=3$、$\bar y=11$、$S_{xx}=10$、$S_{xy}=\sum(x_i-3)x_i^2=(-2)(1)+(-1)(4)+0+(1)(16)+(2)(25)=60$ で、$b_1=6$、$b_0=11-18=-7$、$\hat y=-7+6x$ である。予測値は $-1,5,11,17,23$、残差は $2,-1,-2,-1,2$ で、両端が正・中央が負の U 字に並ぶ。関係が直線でなく下に凸の曲線であることを示している。
4. 14.4-4 $\sum(\hat y_i-\bar y)e_i=b_1\sum(x_i-\bar x)\{(y_i-\bar y)-b_1(x_i-\bar x)\}=b_1(S_{xy}-b_1S_{xx})=b_1(S_{xy}-S_{xy})=0$ である。

§14.5 重回帰分析と決定係数・重相関係数

1. 14.5-1 新しい係数を $0$ に固定すれば元のモデルの当てはめになるので、より広い範囲で最小化した $S_e$ は元の $S_e$ 以下になり、$R^2=1-S_e/S_{yy}$ は減らないからである。
2. 14.5-2 標準化すると $S_{11}=S_{22}=S_{yy}=1$、$S_{12}=r_{12}$、$S_{jy}=r_{jy}$ なので、式 (14.18) から$b_1^*=(r_{1y}-r_{12}r_{2y})/(1-r_{12}^2)=(0.6-0.2)/0.84=0.476$、$b_2^*=(r_{2y}-r_{12}r_{1y})/(1-r_{12}^2)=(0.5-0.24)/0.84=0.310$ である。式 (14.19) から $R^2=S_R/1=b_1^*r_{1y}+b_2^*r_{2y}=0.2857+0.1548=0.440$ である（$(r_{1y}^2+r_{2y}^2-2r_{1y}r_{2y}r_{12})/(1-r_{12}^2)=0.37/0.84=0.440$ とも一致する）。
3. 14.5-3 平日は $20+12=32$、休日は $20+12+5=37$ である。$5$ は、気温が同じときの休日と平日の来客数の予測値の差である。3水準なら、基準の水準（たとえば月〜金）を除いた2本のダミー変数を入れる。
4. 14.5-4 式 (14.20) から $b_1=\sum c_iY_i$、$c_i=\tilde x_{1i}/\sum_j\tilde x_{1j}^2$ で、$Y_i$ は独立なので $V[b_1]=\sigma^2\sum c_i^2=\sigma^2/\sum\tilde x_{1i}^2$ である。$\sum\tilde x_{1i}^2=S_{11}-S_{12}^2/S_{22}=S_{11}(1-r_{12}^2)$（§14.2 の $\sum(e^x_i)^2$ と同じ計算）なので、$V[b_1]=\sigma^2/\{S_{11}(1-r_{12}^2)\}$ である。$x_1$ だけの単回帰では $V=\sigma^2/S_{11}$ なので、増え方は $1/(1-r_{12}^2)$ 倍である。例題 14.6 では $r_{12}^2=64/200=0.32$ で、VIF は $1/0.68=1.47$ である。

§14.6 回帰の有意性の検定

1. 14.6-1 自由度は $n-2$ である。$\sigma^2$ を推定する残差平方和を作るときに切片と傾きの2つの母数を推定しており、定理 14.11 の証明のとおり $E[S_e]$ が $\sigma^2$ の2個ぶん減るからである。
2. 14.6-2 $S_e=20-0.8\times14=8.8$、$V_e=8.8/4=2.2$、$\mathrm{SE}(b_1)=\sqrt{2.2/17.5}=\sqrt{0.12571}=0.3546$、$t_0=0.8/0.3546=2.256$ である。$2.256<2.776$ なので、有意水準 $5\%$ で $H_0$ は棄却されない。（相関係数からは $r^2=0.56$ で $t_0=\sqrt{4\times0.56/0.44}=\sqrt{5.0909}=2.256$ と一致する。）
3. 14.6-3 $z=\frac12\log(1.4/0.6)=0.4236$、標準誤差は $1/\sqrt{36}=0.1667$、半幅は $1.960\times0.1667=0.3267$ で、$z$ の区間は $[\,0.0970,\ 0.7503\,]$ である。逆変換すると $\rho$ の区間は $[\,0.097,\ 0.635\,]$ である。
4. 14.6-4 $S_R=r^2S_{yy}=30$、$S_e=20$、自由度は回帰 $1$・残差 $10$・全体 $11$ で、$V_R=30$、$V_e=2$、$F_0=15$ である。$15>4.965$ なので回帰は有意である。
5. 14.6-5 $x_0=0$ では $\hat Y_0=b_0$ なので、式 (14.31) から $V[b_0]=\sigma^2(1/n+\bar x^2/S_{xx})$ である。また $b_0=\bar Y-b_1\bar x$ と $\mathrm{Cov}(\bar Y,b_1)=0$ から、$\mathrm{Cov}(b_0,b_1)=\mathrm{Cov}(\bar Y,b_1)-\bar x\,V[b_1]=-\bar x\sigma^2/S_{xx}$ である。$\bar x>0$ なら、傾きを大きく推定した標本ほど切片を小さく推定する傾向がある。