単回帰モデル

数理統計　第9章 §9.1　★★★ 最小二乗＝最尤、平方和分解、$S_e/\sigma^2\sim\chi^2_{n-2}$ と独立性、$t$ による推測。数理の大問がそのまま出る

この章では、説明変数 $x$ から応答 $Y$ を予測する線形回帰モデルを扱う。道具として作るものは次の3つである。

1. 最小二乗推定量の陽な式と、その標本分布。正規誤差のもとでは最尤推定量と一致する。
2. 残差平方和 $S_e$ が $\sigma^2\chi^2_{n-p}$ に従い、しかも回帰係数の推定量と独立であることの証明。これがあると、係数の $t$ 検定・信頼区間・予測区間・線形仮説の $F$ 検定がすべて同じ手続きで導ける。
3. 正規線形モデルの外へ出るための枠組み。変数選択の規準（AIC・$C_p$・交差検証）、ロジスティック回帰と一般化線形モデル、群の効果を確率変数とみなす変量効果モデルを扱う。

1級の統計数理では、単回帰の最尤推定から平方和分解、$S_e/\sigma^2$ の分布、標本相関係数の分布までを小問の連鎖で導かせる問題が出る。統計応用では、重回帰の射影行列の性質や、分散分析表の期待平均平方を式で書かせる問題が出る。どちらも公式を覚えているだけでは点にならず、行列と正規分布の性質から途中式を書き下せることが要求される。そこでこの章では、各定理を証明つきで書き、例題で数値まで計算しきる。

前提として、第5章（標本分布とその近似）で導いた次の3つを使う。

1. $Z_1,\dots,Z_m\sim\mathrm{N}(0,1)$（独立）なら、$\sum Z_k^2\sim\chi^2_m$。
2. $Z\sim\mathrm{N}(0,1)$ と $W\sim\chi^2_m$ が独立とする。このとき $Z/\sqrt{W/m}\sim t_m$。
3. $W_1\sim\chi^2_{m_1}$ と $W_2\sim\chi^2_{m_2}$ が独立なら、

$$\frac{W_1/m_1}{W_2/m_2}\sim F_{m_1,m_2}.$$

また、多変量正規分布に従うベクトルの成分どうしは、共分散が0なら独立であること（第4章 §4.4）も使う。

モデルと最小二乗推定

$n$ 組のデータ $(x_1,Y_1),\dots,(x_n,Y_n)$ がある。$x_i$ は値の決まった数（実験者が設定した値、あるいは観測値で条件づけたもの）、$Y_i$ は確率変数とする。単回帰モデルとは

$$Y_i=\alpha+\beta x_i+\varepsilon_i,\qquad \varepsilon_1,\dots,\varepsilon_n\ \text{は独立に}\ \mathrm{N}(0,\sigma^2)\quad(i=1,\dots,n)\tag{9.1}$$

をいう。$\alpha$ を切片、$\beta$ を回帰係数（傾き）と呼ぶ。未知の母数は $\alpha,\beta,\sigma^2$ である。

$x_i$ がすべて同じ値だと傾きは決められないので、$x_i$ のうち少なくとも2つは異なるものとする。以下では次の略記を使う。

$$\begin{gathered}\bar x=\frac1n\sum_{i=1}^n x_i,\qquad \bar Y=\frac1n\sum_{i=1}^n Y_i,\\ S_{xx}=\sum_{i=1}^n(x_i-\bar x)^2,\qquad S_{xY}=\sum_{i=1}^n(x_i-\bar x)(Y_i-\bar Y),\qquad S_{YY}=\sum_{i=1}^n(Y_i-\bar Y)^2 .\end{gathered}$$

仮定から $S_{xx}>0$ である。また $\sum(x_i-\bar x)=0$ なので $S_{xY}=\sum(x_i-\bar x)Y_i$ と書いてもよい。この書き換えは分布を求めるときに何度も使う。

最小二乗法は、残差の2乗和

$$Q(\alpha,\beta)=\sum_{i=1}^n(Y_i-\alpha-\beta x_i)^2$$

を最小にする $(\alpha,\beta)$ を推定値とする方法である。$Q$ は $(\alpha,\beta)$ の2次式で、下に有界な凸関数である。したがって偏導関数を0とおけば最小点が求まる。

$$\begin{aligned}\frac{\partial Q}{\partial \alpha}&=-2\sum_{i=1}^n(Y_i-\alpha-\beta x_i)=0,\\ \frac{\partial Q}{\partial \beta}&=-2\sum_{i=1}^n x_i(Y_i-\alpha-\beta x_i)=0 .\end{aligned}$$

この2式を正規方程式と呼ぶ。1つ目を $n$ で割ると次の式を得る。

$$\bar Y=\alpha+\beta\bar x .$$

すなわち回帰直線は点 $(\bar x,\bar Y)$ を通る。これを2つ目に代入して $\alpha$ を消すと

$$\sum x_i(Y_i-\bar Y)=\beta\sum x_i(x_i-\bar x)$$

となる。左辺は $S_{xY}$、右辺の和は $S_{xx}$ に等しい。これは $\sum\bar x(Y_i-\bar Y)=0$ と $\sum\bar x(x_i-\bar x)=0$ を足し引きすれば分かる。したがって

$$\hat\beta=\frac{S_{xY}}{S_{xx}},\qquad \hat\alpha=\bar Y-\hat\beta\bar x .\tag{9.2}$$

当てはめ値を $\hat Y_i=\hat\alpha+\hat\beta x_i$、残差を $e_i=Y_i-\hat Y_i$ と書く。正規方程式はそのまま

$$\sum_{i=1}^n e_i=0,\qquad \sum_{i=1}^n x_ie_i=0\tag{9.3}$$

という残差の性質を言っている。残差平方和を $S_e=\sum e_i^2$ と書く。

証明

$Y_i\sim\mathrm{N}(\alpha+\beta x_i,\sigma^2)$ が独立なので、対数尤度は

$$\ell(\alpha,\beta,\sigma^2)=-\frac n2\log(2\pi\sigma^2)-\frac{1}{2\sigma^2}Q(\alpha,\beta).$$

$\sigma^2$ を固定する。すると $\ell$ の最大化は $Q$ の最小化と同じである。よって $(\alpha,\beta)$ の最尤推定量は最小二乗推定量に一致する。そこで $Q$ を最小値 $S_e$ に置き換える。$\sigma^2$ について微分すると

$$\frac{\partial \ell}{\partial \sigma^2}=-\frac{n}{2\sigma^2}+\frac{S_e}{2\sigma^4}=0 \quad\Longrightarrow\quad \sigma^2=\frac{S_e}{n}.$$

この点で $\ell$ は $\sigma^2$ について増加から減少へ変わるので最大である。

平方和分解と決定係数

$Y_i-\bar Y=(\hat Y_i-\bar Y)+e_i$ と分けて2乗和をとる。交差項は式 (9.3) により消える。

$$\sum(\hat Y_i-\bar Y)e_i=\hat\alpha\sum e_i+\hat\beta\sum x_ie_i-\bar Y\sum e_i=0 .$$

よって

$$S_{YY}=S_R+S_e,\qquad S_R=\sum_{i=1}^n(\hat Y_i-\bar Y)^2=\hat\beta^2S_{xx}=\frac{S_{xY}^2}{S_{xx}} .\tag{9.4}$$

$S_R$ の形は $\hat Y_i-\bar Y=\hat\beta(x_i-\bar x)$ から出る。$S_R$ を回帰平方和と呼ぶ。全体のばらつき $S_{YY}$ のうち回帰で説明できた割合

$$R^2=\frac{S_R}{S_{YY}}=1-\frac{S_e}{S_{YY}}=\frac{S_{xY}^2}{S_{xx}S_{YY}}$$

を決定係数という。最後の形から、$R^2$ は標本相関係数 $r$ の2乗に等しい。

$$r=\frac{S_{xY}}{\sqrt{S_{xx}S_{YY}}},\qquad R^2=r^2 .$$

また $S_e=S_{YY}(1-r^2)$ も成り立つ。

推定量の分布

$\hat\beta$ は次のように書ける。

$$\hat\beta=\sum_i c_iY_i,\qquad c_i=\frac{x_i-\bar x}{S_{xx}} .$$

よって $\hat\beta$ は独立な正規確率変数の線形結合であり、正規分布に従う。係数について

$$\textstyle\sum c_i=0,\qquad \sum c_ix_i=1,\qquad \sum c_i^2=1/S_{xx}$$

が成り立つ。これを使うと

$$E[\hat\beta]=\sum c_i(\alpha+\beta x_i)=\beta,\qquad V[\hat\beta]=\sigma^2\sum c_i^2=\frac{\sigma^2}{S_{xx}} .$$

$\hat\alpha=\bar Y-\hat\beta\bar x$ については、$\mathrm{Cov}(\bar Y,\hat\beta)=\frac{\sigma^2}{n}\sum c_i=0$ なので

$$\hat\beta\sim\mathrm{N}\!\left(\beta,\frac{\sigma^2}{S_{xx}}\right),\quad \hat\alpha\sim\mathrm{N}\!\left(\alpha,\sigma^2\Bigl(\frac1n+\frac{\bar x^2}{S_{xx}}\Bigr)\right),\quad \mathrm{Cov}(\hat\alpha,\hat\beta)=-\frac{\bar x\,\sigma^2}{S_{xx}} .\tag{9.5}$$

（$\hat\alpha$ の分散の計算は確認テスト 9.1-2 で手を動かす。）

残る問題は2つある。1つは $S_e$ の分布である。もう1つは、$S_e$ が $(\hat\alpha,\hat\beta)$ と独立かどうかである。

$\sigma^2$ が未知なので、$t$ 統計量を作るにはこれが要る。次の定理がこの節の中心である。

証明

$\mathbb R^n$ の単位ベクトル

$$\bm{u}_1=\frac{1}{\sqrt n}(1,\dots,1)^\top,\qquad \bm{u}_2=\frac{1}{\sqrt{S_{xx}}}(x_1-\bar x,\dots,x_n-\bar x)^\top$$

は $\bm{u}_1^\top\bm{u}_2=\sum(x_i-\bar x)/\sqrt{nS_{xx}}=0$ より直交する。これに $\bm{u}_3,\dots,\bm{u}_n$ を補って $\mathbb R^n$ の正規直交基底を作る。$U=(\bm{u}_1,\dots,\bm{u}_n)$ は直交行列である。$\bm{Y}=(Y_1,\dots,Y_n)^\top$ に対して

$$\bm{Z}=U^\top\bm{Y},\qquad\text{すなわち}\quad Z_k=\bm{u}_k^\top\bm{Y}$$

とおく。

$\bm{Y}\sim\mathrm{N}_n(\bm{\mu},\sigma^2I_n)$（$\mu_i=\alpha+\beta x_i$）なので、

$$\bm{Z}\sim\mathrm{N}_n(U^\top\bm{\mu},\sigma^2U^\top U)=\mathrm{N}_n(U^\top\bm{\mu},\sigma^2I_n).$$

共分散行列が対角なので $Z_1,\dots,Z_n$ は独立で、どれも分散 $\sigma^2$ の正規分布に従う。平均ベクトルは次のように書ける。

$$\bm{\mu}=(\alpha+\beta\bar x)\sqrt n\,\bm{u}_1+\beta\sqrt{S_{xx}}\,\bm{u}_2 .$$

これは $\bm{u}_1,\bm{u}_2$ の張る平面に入っている。よって $k\ge3$ では $E[Z_k]=\bm{u}_k^\top\bm{\mu}=0$ である。

最初の2成分を書き下すと次のとおりである。

$$Z_1=\sqrt n\,\bar Y,\qquad Z_2=\frac{\sum(x_i-\bar x)Y_i}{\sqrt{S_{xx}}}=\frac{S_{xY}}{\sqrt{S_{xx}}}=\sqrt{S_{xx}}\,\hat\beta .$$

直交変換は長さを保つので $\sum Y_i^2=\sum_{k=1}^nZ_k^2$。一方、平方和分解 (9.4) から

$$\sum Y_i^2=n\bar Y^2+S_{YY}=n\bar Y^2+\hat\beta^2S_{xx}+S_e=Z_1^2+Z_2^2+S_e .$$

両者を比べて $S_e=\sum_{k=3}^nZ_k^2$ を得る。ここから3つの主張が出る。

1. $Z_3,\dots,Z_n$ は独立に $\mathrm{N}(0,\sigma^2)$ に従う。よって $S_e/\sigma^2\sim\chi^2_{n-2}$。
2. $S_e$ は $(Z_3,\dots,Z_n)$ だけの関数である。一方 $\bar Y,\ \hat\beta,\ \hat\alpha=\bar Y-\hat\beta\bar x$ は $(Z_1,Z_2)$ だけの関数である。よって両者は独立である。
3. $E[\chi^2_{n-2}]=n-2$ から従う。

$t$ による推測と予測

定理 9.2 と式 (9.5) を組み合わせる。次の2つは独立である。

$$\frac{\hat\beta-\beta}{\sqrt{\sigma^2/S_{xx}}}\sim\mathrm{N}(0,1),\qquad \frac{S_e}{\sigma^2}\sim\chi^2_{n-2} .$$

よって $\sigma$ を消した

$$T=\frac{\hat\beta-\beta}{\sqrt{\hat\sigma^2/S_{xx}}}\sim t_{n-2}\tag{9.6}$$

が成り立つ。ここから次の2つが得られる。

1. $\beta$ の信頼係数 $1-\alpha$ の信頼区間：

$$\hat\beta\pm t_{n-2}(\alpha/2)\sqrt{\hat\sigma^2/S_{xx}} .$$ 2. $H_0:\beta=0$ の両側検定：$\lvert T\rvert >t_{n-2}(\alpha/2)$ で棄却する。

新しい点 $x_0$ での平均 $\mu_0=\alpha+\beta x_0$ を推定する。推定量は

$$\hat\mu_0=\hat\alpha+\hat\beta x_0=\bar Y+\hat\beta(x_0-\bar x)$$

である。$\bar Y$ と $\hat\beta$ は無相関なので

$$V[\hat\mu_0]=\sigma^2\left(\frac1n+\frac{(x_0-\bar x)^2}{S_{xx}}\right).$$

これと $\hat\sigma^2$ から、$\mu_0$ の信頼区間が出る。

$$\hat\mu_0\pm t_{n-2}(\alpha/2)\,\hat\sigma\sqrt{\frac1n+\frac{(x_0-\bar x)^2}{S_{xx}}} .$$

一方、$x_0$ で将来観測される値 $Y_0=\mu_0+\varepsilon_0$ を当てたいときを考える。ここで $\varepsilon_0$ は手元のデータと独立とする。このとき分散は

$$V[Y_0-\hat\mu_0]=\sigma^2\left(1+\frac1n+\frac{(x_0-\bar x)^2}{S_{xx}}\right)$$

になるので、予測区間は

$$\hat\mu_0\pm t_{n-2}(\alpha/2)\,\hat\sigma\sqrt{1+\frac1n+\frac{(x_0-\bar x)^2}{S_{xx}}}\tag{9.7}$$

となる。予測区間は平均の信頼区間より必ず広い。$n\to\infty$ でも幅は0にならず、新しい誤差 $\varepsilon_0$ の分だけ残る。

どちらの区間も $x_0=\bar x$ で最も狭い。$x_0$ が $\bar x$ から離れるほど広がる。

図 9.1 に、この例題の回帰直線と、各 $x_0$ での平均の信頼区間・予測区間の端を結んだ帯を示す。帯は $\bar x=3.5$ でくびれ、データの外側（$x_0=7$）で開いていく。この様子は式の $(x_0-\bar x)^2$ の項に対応している。

$H_0:\beta=0$ の $t$ 統計量を考える。これは標本相関係数 $r$ だけで書き直せる。次の2式を代入する。

$$\hat\beta=\frac{S_{xY}}{S_{xx}},\qquad \hat\sigma^2=\frac{S_{YY}(1-r^2)}{n-2} .$$

すると

$$T=\frac{\hat\beta\sqrt{S_{xx}}}{\hat\sigma}=\frac{S_{xY}}{\sqrt{S_{xx}}}\cdot\frac{\sqrt{n-2}}{\sqrt{S_{YY}(1-r^2)}}=\frac{\sqrt{n-2}\,r}{\sqrt{1-r^2}} .\tag{9.8}$$

したがって「傾きが0かどうかの $t$ 検定」と「相関が0かどうかの検定」は同じ検定である。次の例題はこの関係から $r$ の分布を導く。

確認テスト

オリジナル

1. 9.1-1 残差 $e_i$ について次の3式が成り立つことを、正規方程式から示せ。

$$\textstyle\sum e_i=0,\qquad \sum x_ie_i=0,\qquad \sum\hat Y_ie_i=0 .$$ 2. 9.1-2 $V[\hat\alpha]=\sigma^2(1/n+\bar x^2/S_{xx})$ と $\mathrm{Cov}(\hat\alpha,\hat\beta)=-\bar x\sigma^2/S_{xx}$ を導け。また $\hat\alpha$ と $\hat\beta$ が無相関になるのはどんなときか答えよ。3. 9.1-3 原点を通る回帰モデル $Y_i=\beta x_i+\varepsilon_i$ を考える。$\varepsilon_i$ は独立に $\mathrm{N}(0,\sigma^2)$ に従うとする。また $\sum x_i^2>0$ とする。 $\beta$ の最小二乗推定量 $\tilde\beta$ とその分布を求めよ。また残差平方和を $S_e$ とする。$S_e/(n-1)$ が $\sigma^2$ の不偏推定量になることを示せ。4. 9.1-4 $n=12$ のデータで次の値を得た。

$$\bar x=5,\quad \bar y=20,\quad S_{xx}=40,\quad S_{xy}=60,\quad S_{yy}=110 .$$

$\hat\beta,\ \hat\alpha,\ S_e,\ R^2$ を求め、$H_0:\beta=0$ を有意水準 5% で検定せよ。$t_{10}(0.025)=2.228$ とする。