回帰の有意性の検定

統計学の復習　第14章 §14.6　★★★ $b_1$ は $Y_i$ の重み付き和なので、平均 $\beta_1$・分散 $\sigma^2/S_{xx}$ が第7章の公式から出る。$V_e=S_e/(n-2)$ で $\sigma^2$ を推定すると、傾きの検定統計量は $t_{n-2}$ に従い、$F=t^2$ になる

モデルの仮定

ここからは、式 (14.8) の誤差 $\varepsilon_1,\dots,\varepsilon_n$ が互いに独立で、どれも $\mathrm N(0,\sigma^2)$ に従うと仮定する。$x_i$ は定数なので、$Y_i\sim\mathrm N(\beta_0+\beta_1x_i,\sigma^2)$ で、$Y_1,\dots,Y_n$ は独立である。最小二乗の式 (14.10) の $y_i$ を確率変数 $Y_i$ に置き換えたものを推定量として扱い、同じ字 $b_0,b_1,S_e$ で書く。

傾きの推定量の平均と分散

$S_{xy}=\sum(x_i-\bar x)(Y_i-\bar Y)=\sum(x_i-\bar x)Y_i$（$\sum(x_i-\bar x)=0$ なので $\bar Y$ の項が消える）だから、

$$b_1=\sum_{i=1}^nw_iY_i,\qquad w_i=\frac{x_i-\bar x}{S_{xx}}\tag{14.24}$$

と、$b_1$ は $Y_i$ の重み付き和で書ける。重みは

$$\sum w_i=0,\qquad \sum w_ix_i=\frac{\sum(x_i-\bar x)x_i}{S_{xx}}=\frac{S_{xx}}{S_{xx}}=1,\qquad \sum w_i^2=\frac{S_{xx}}{S_{xx}^2}=\frac1{S_{xx}}$$

を満たす（2つ目は $\sum(x_i-\bar x)x_i=\sum(x_i-\bar x)(x_i-\bar x)=S_{xx}$ による）。

証明

期待値の線形性から $E[b_1]=\sum w_i(\beta_0+\beta_1x_i)=\beta_0\sum w_i+\beta_1\sum w_ix_i=\beta_1$ である。$Y_i$ は独立なので、第7章 §7.2 の $n$ 個の和の分散の公式で共分散の項が消え、$V[b_1]=\sum w_i^2V[Y_i]=\sigma^2\sum w_i^2=\sigma^2/S_{xx}$ である。独立な正規分布に従う変数の1次結合は正規分布に従う（第6章 §6.3 の再生性）ので、$b_1$ は正規分布に従う。

$V[b_1]=\sigma^2/S_{xx}$ は、$x$ の散らばり $S_{xx}$ が大きいほど傾きを精度よく推定できることを表している。$x$ の値が狭い範囲に固まっていると、$y$ のわずかなぶれで傾きが大きく動く。正規性の仮定を使ったのは最後の1文だけで、平均と分散の式は誤差が独立で等分散でありさえすれば成り立つ。

誤差分散の推定と自由度 n−2

$\sigma^2$ は未知なので、残差平方和から推定する。

証明

式 (14.16) から $S_e=S_{yy}-b_1^2S_{xx}$ で、2つの項の期待値を別々に計算する。$Y_i-\bar Y=\beta_1(x_i-\bar x)+(\varepsilon_i-\bar\varepsilon)$ なので

$$E[S_{yy}]=\beta_1^2S_{xx}+2\beta_1\sum(x_i-\bar x)E[\varepsilon_i-\bar\varepsilon]+E\Bigl[\sum(\varepsilon_i-\bar\varepsilon)^2\Bigr]=\beta_1^2S_{xx}+(n-1)\sigma^2$$

である。中央の項は $E[\varepsilon_i]=0$ から $0$、最後の項は第9章 §9.3 の不偏分散の定理（$E[\sum(X_i-\bar X)^2]=(n-1)\sigma^2$）を $\varepsilon_i$ に当てはめた。一方、定理 14.10 から $E[b_1^2]=V[b_1]+E[b_1]^2=\sigma^2/S_{xx}+\beta_1^2$ なので、$E[b_1^2S_{xx}]=\sigma^2+\beta_1^2S_{xx}$ である。引き算すると

$$E[S_e]=\beta_1^2S_{xx}+(n-1)\sigma^2-\sigma^2-\beta_1^2S_{xx}=(n-2)\sigma^2.$$

不偏分散で $n-1$ で割ったのは、$\bar X$ を推定したことで偏差平方和の期待値が $\sigma^2$ の1個ぶん減ったからであった（第9章 §9.3）。回帰では、その1個ぶん（$\bar Y$ を引いた分）に加えて、傾き $b_1$ を推定した分 $E[b_1^2S_{xx}]-\beta_1^2S_{xx}=\sigma^2$ がもう1個減る。この証明の中で、減る量が切片と傾きの推定の1個ずつとしてそのまま見えている。推定した母数が $\beta_0,\beta_1$ の2つなので、$S_e$ の自由度は $n-2$ である。関心があるのが傾きだけでも切片も同時に推定しているので、自由度は $n-1$ にはならない。説明変数が $p$ 個の重回帰では、推定する係数が $p+1$ 個なので自由度は $n-p-1$ である。

傾きの t 検定

正規性の仮定の下では、さらに次が成り立つ。証明には $S_e$ が独立な標準正規変数 $n-2$ 個の2乗和の $\sigma^2$ 倍として書けることを示す必要があり、これは第10章で $n=2$ の場合だけ確かめ、一般の $n$ では1級の巻へ送った $\bar X$ と $S^2$ の独立性と同じ種類の議論になるので、結果だけを使う。

式 (14.27) は、$Z=(b_1-\beta_1)/\sqrt{\sigma^2/S_{xx}}\sim\mathrm N(0,1)$ と $W=S_e/\sigma^2\sim\chi^2_{n-2}$ から $T=Z/\sqrt{W/(n-2)}$ と書けるので、第10章 §10.3 の $t$ 分布の定義そのものである（$\sigma$ は分子と分母で約分される）。証明は数理統計の解説 第9章 §9.1 で扱う。$\sqrt{V_e/S_{xx}}$ を $b_1$ の標準誤差 $\mathrm{SE}(b_1)$ と呼ぶ。統計ソフトの出力の係数の表で「標準誤差」の列に出る値がこれで、「$t$ 値」の列は $b_1/\mathrm{SE}(b_1)$ である。

傾きが $0$ かどうか、すなわち $x$ が $y$ の予測に役立つかどうかの検定は、帰無仮説 $H_0:\beta_1=0$、対立仮説 $H_1:\beta_1\ne0$ について、

$$t_0=\frac{b_1}{\mathrm{SE}(b_1)}=\frac{b_1}{\sqrt{V_e/S_{xx}}}$$

を計算し、$\lvert t_0\rvert >t_{n-2}(\alpha/2)$ なら $H_0$ を棄却する。検定の手順の一般論は第12章で扱う。$\beta_1$ の信頼係数 $1-\alpha$ の信頼区間は、第10章と同じピボットの手順で

$$b_1\pm t_{n-2}(\alpha/2)\sqrt{\frac{V_e}{S_{xx}}}\tag{14.28}$$

である。

この $t_0$ は相関係数だけで書くこともできる。$b_1=S_{xy}/S_{xx}$ と $V_e=S_{yy}(1-r^2)/(n-2)$（式 (14.16)）を入れると

$$t_0^2=\frac{S_{xy}^2/S_{xx}^2}{S_{yy}(1-r^2)/\{(n-2)S_{xx}\}}=\frac{(n-2)\,S_{xy}^2}{S_{xx}S_{yy}(1-r^2)}=\frac{(n-2)r^2}{1-r^2},\qquad t_0=\frac{r\sqrt{n-2}}{\sqrt{1-r^2}}\tag{14.29}$$

となる（$t_0$ と $r$ は同じ符号）。「母相関係数が $0$ か」を調べる無相関の検定の統計量はこの右辺で、傾きの $t$ 検定と同じ検定である。

回帰の分散分析表と F=t²

平方和の分解 $S_{yy}=S_R+S_e$ を、自由度とともに表にしたものを回帰の分散分析表と呼ぶ。

自由度も平方和と同じく足し算になる（$1+(n-2)=n-1$）。$S_R=b_1^2S_{xx}$ なので

$$F_0=\frac{b_1^2S_{xx}}{V_e}=\Bigl(\frac{b_1}{\sqrt{V_e/S_{xx}}}\Bigr)^2=t_0^2\tag{14.30}$$

である。$H_0:\beta_1=0$ の下で $F_0$ は自由度 $(1,n-2)$ の $F$ 分布に従い（$F$ 分布の定義は第15章）、$F_{1,n-2}(\alpha)=t_{n-2}(\alpha/2)^2$ なので、$F_0>F_{1,n-2}(\alpha)$ による検定は両側の $t$ 検定と同じ結論を出す。説明変数が $p$ 個の重回帰では、回帰の自由度が $p$、残差の自由度が $n-p-1$ になり、$F_0=(S_R/p)/\{S_e/(n-p-1)\}$ で「すべての偏回帰係数が $0$」を検定する。

予測値のばらつき

$x=x_0$ での $y$ の平均 $\beta_0+\beta_1x_0$ の推定量 $\hat Y_0=b_0+b_1x_0$ は、回帰直線が $(\bar x,\bar Y)$ を通ることから $\hat Y_0=\bar Y+b_1(x_0-\bar x)$ と書ける。$\mathrm{Cov}(\bar Y,b_1)=\sum_i\frac1n w_i\sigma^2=\frac{\sigma^2}n\sum w_i=0$（第7章の共分散の双線形性）なので

$$V[\hat Y_0]=V[\bar Y]+(x_0-\bar x)^2V[b_1]=\sigma^2\left(\frac1n+\frac{(x_0-\bar x)^2}{S_{xx}}\right)\tag{14.31}$$

である。$x_0$ が $\bar x$ から離れるほど分散が大きくなり、平均の点で最も精度がよい。$\sigma^2$ を $V_e$ で置き換えれば、$t_{n-2}$ による信頼区間が作れる（総合問題 (5)）。

相関係数の区間推定（Fisher の z 変換）

2変数がともに確率変数で2変量正規分布に従うとき、母相関係数 $\rho$ の区間推定には、相関係数を

$$z=\frac12\log\frac{1+r}{1-r}\tag{14.32}$$

と変換した量を使う。これを Fisher の $z$ 変換と呼ぶ。$r$ の分布は $\rho$ が $\pm1$ に近いほど片側に偏り、分散も $\rho$ によって変わるが、$z$ は近似的に $\mathrm N\bigl(\tfrac12\log\tfrac{1+\rho}{1-\rho},\ \tfrac1{n-3}\bigr)$ に従い、分散が $\rho$ によらなくなる。そこで $z\pm z_{\alpha/2}/\sqrt{n-3}$ を区間とし、両端を逆変換 $r=\tanh z=(e^{2z}-1)/(e^{2z}+1)$ で $\rho$ の尺度に戻す。

ここで現れる $n-3$ は、自由度の数え方（データ数から推定した母数の数を引く）から出たものではない。$z$ の分散を $n$ について展開したとき、$1/n$ でなく $1/(n-3)$ と書くと近似がよくなる、という近似の事情による。単回帰の $t$ 検定の $n-2$ とは別物で、この1か所だけが例外である。近似がなぜこの形になるかは、数理統計の解説 第5章 §5.3 のデルタ法と、§5.5 の分散を一定にする変換で扱う。

確認テスト

オリジナル

1. 14.6-1 単回帰の傾きの $t$ 検定の自由度を答え、なぜその数になるかを1文で説明せよ。
2. 14.6-2 確認テスト 14.3-2・14.4-2 のデータ（$n=6$、$S_{xx}=17.5$、$S_{xy}=14$、$S_{yy}=20$）で、$H_0:\beta_1=0$ を有意水準 $5\%$ の両側で検定せよ（$t_4(0.025)=2.776$）。
3. 14.6-3 $n=39$ の標本で相関係数 $r=0.40$ を得た。母相関係数の $95\%$ 信頼区間を Fisher の $z$ 変換で求めよ（$z_{0.025}=1.960$）。
4. 14.6-4 $n=12$ のデータで $S_{yy}=50$、$r^2=0.6$ であった。回帰の分散分析表を作り、有意水準 $5\%$ で回帰が有意かを判定せよ（$F_{1,10}(0.05)=4.965$）。
5. 14.6-5 式 (14.31) を $x_0=0$ に当てはめて $V[b_0]=\sigma^2\bigl(1/n+\bar x^2/S_{xx}\bigr)$ を示せ。また $\mathrm{Cov}(b_0,b_1)=-\bar x\sigma^2/S_{xx}$ を示せ。