重回帰モデル

数理統計　第9章 §9.2　★★★ 行列で書いた最小二乗、射影行列、Gauss–Markov、二次形式の $\chi^2$ と線形仮説の $F$ 検定

モデルと正規方程式

説明変数が $p-1$ 個あるとき、切片を含めて $p$ 個の係数をもつ重回帰モデル

$$Y_i=\beta_0+\beta_1x_{i1}+\dots+\beta_{p-1}x_{i,p-1}+\varepsilon_i\qquad(i=1,\dots,n)$$

を考える。次の $n\times p$ 行列を計画行列と呼ぶ。

$$X=\begin{pmatrix}1&x_{11}&\cdots&x_{1,p-1}\\ \vdots&\vdots&&\vdots\\ 1&x_{n1}&\cdots&x_{n,p-1}\end{pmatrix}.$$

これを使うと、モデルは次の形になる。

$$\bm{Y}=X\bm{\beta}+\bm{\varepsilon},\qquad \bm{\varepsilon}\sim\mathrm{N}_n(\bm{0},\sigma^2I_n)\tag{9.9}$$

以後、$X$ の列は一次独立で、階数は $p<n$ であると仮定する。このとき $X^\top X$ は正則である。実際、$X^\top X\bm{v}=\bm{0}$ なら次のようになる。

$$\lVert X\bm{v}\rVert ^2=\bm{v}^\top X^\top X\bm{v}=0 \ \Longrightarrow\ X\bm{v}=\bm{0} \ \Longrightarrow\ \bm{v}=\bm{0}\quad(\text{列の一次独立}).$$

単回帰は、$X$ の列が $\bm{1},\bm{x}$ の2本の場合である。

残差平方和は

$$Q(\bm{\beta})=\lVert \bm{Y}-X\bm{\beta}\rVert ^2=\bm{Y}^\top\bm{Y}-2\bm{\beta}^\top X^\top\bm{Y}+\bm{\beta}^\top X^\top X\bm{\beta}$$

である。これを $\bm{\beta}$ で微分して零ベクトルとおくと、正規方程式 $X^\top X\bm{\beta}=X^\top\bm{Y}$ を得る。したがって最小二乗推定量は

$$\hat{\bm{\beta}}=(X^\top X)^{-1}X^\top\bm{Y} .\tag{9.10}$$

$Q$ のヘッセ行列は $2X^\top X$ で正定値なので、これは最小点である。単回帰のときと同じく、正規誤差のもとでは$\hat{\bm{\beta}}$ は最尤推定量でもある。$\sigma^2$ の最尤推定量は $S_e/n$ である（証明は命題 9.1 と同じ）。

射影行列の幾何

当てはめ値は次のように書ける。

$$\hat{\bm{Y}}=X\hat{\bm{\beta}}=H\bm{Y},\qquad H=X(X^\top X)^{-1}X^\top .$$

$H$ を射影行列（ハット行列）と呼ぶ。

証明

対称性は $((X^\top X)^{-1})^\top=(X^\top X)^{-1}$ から従う。べき等性などは代入で確かめられる。

$$\begin{aligned}H^2&=X(X^\top X)^{-1}X^\top X(X^\top X)^{-1}X^\top=H,\\ HX&=X(X^\top X)^{-1}X^\top X=X,\\ (I-H)^2&=I-2H+H^2=I-H,\\ H(I-H)&=H-H^2=O .\end{aligned}$$

べき等な対称行列の固有値は、$\lambda^2=\lambda$ より0か1である。よって階数は固有値1の個数、すなわちトレースに等しい。

$$\operatorname{Tr} H=\operatorname{Tr}\bigl((X^\top X)^{-1}X^\top X\bigr)=\operatorname{Tr} I_p=p\qquad(\operatorname{Tr}(AB)=\operatorname{Tr}(BA)\ \text{を使った}).$$

$X$ の列が張る部分空間を $\mathcal C(X)$ と書く。その次元は $p$ で、$H$ はこの部分空間への直交射影である。実際、任意の $\bm{Y}$ を次の2つに分ける。

$$\bm{Y}=H\bm{Y}+(I-H)\bm{Y},\qquad H\bm{Y}\in\mathcal C(X).$$

$X^\top(I-H)\bm{Y}=\bm{0}$ なので、後者は $\mathcal C(X)$ と直交する。

最小二乗法とは「$\bm{Y}$ に最も近い $\mathcal C(X)$ の点を探すこと」である。その答えが直交射影 $H\bm{Y}$ である（図 9.2）。

残差ベクトル $\bm{e}=(I-H)\bm{Y}$ は、$X^\top\bm{e}=\bm{0}$ を満たす。つまり $X$ のすべての列と直交する。これは単回帰の式 (9.3) の一般化である。

推定量の性質

$\hat{\bm{\beta}}=(X^\top X)^{-1}X^\top\bm{Y}$ は $\bm{Y}$ の線形変換なので正規分布に従い、

$$E[\hat{\bm{\beta}}]=(X^\top X)^{-1}X^\top X\bm{\beta}=\bm{\beta},\qquad \mathrm{Cov}(\hat{\bm{\beta}})=(X^\top X)^{-1}X^\top(\sigma^2I)X(X^\top X)^{-1}=\sigma^2(X^\top X)^{-1} .$$

不偏性と共分散の式は正規性を使っていない。正規性が無くても、誤差が無相関・等分散でありさえすれば、最小二乗推定量は線形不偏推定量の中で最良である。

証明

不偏性 $E[C\bm{Y}]=CX\bm{\beta}=\bm{\beta}$ は、任意の母数で成り立つ。よって $CX=I_p$ である。$C=(X^\top X)^{-1}X^\top+D$ とおく。$CX=I_p+DX$ から $DX=O$ である。すると

$$\mathrm{Cov}(\tilde{\bm{\beta}})=\sigma^2CC^\top=\sigma^2\bigl[(X^\top X)^{-1}+(X^\top X)^{-1}X^\top D^\top+DX(X^\top X)^{-1}+DD^\top\bigr] =\sigma^2(X^\top X)^{-1}+\sigma^2DD^\top .$$

$DD^\top$ は半正定値（$\bm{c}^\top DD^\top\bm{c}=\lVert D^\top\bm{c}\rVert ^2\ge0$）なので主張が成り立つ。

この定理の結論から、$\hat{\bm{\beta}}$ を最良線形不偏推定量（BLUE）と呼ぶ。正規性を仮定すれば、第10章で扱う最良不偏推定の理論により、線形に限らずすべての不偏推定量の中で最良であることまで言える。

二次形式の分布

$S_e$ の分布を求める道具は、次の補題に集約される。単回帰の定理 9.2 の証明で正規直交基底を作った操作を、固有値分解で一般の射影行列に対して行う。

証明

1. $A$ は対称なので直交行列で対角化できる。その直交行列を $Q$ として $A=Q\Lambda Q^\top$ と書く。べき等なので固有値は0か1で、1の個数は $r$ である。そこで $\Lambda=\mathrm{diag}(1,\dots,1,0,\dots,0)$（1が $r$ 個）と並べる。

$\bm{Z}=Q^\top\bm{Y}\sim\mathrm{N}_n(Q^\top\bm{\mu},\sigma^2I_n)$ とおくと

$$\bm{Y}^\top A\bm{Y}=\bm{Z}^\top\Lambda\bm{Z}=\sum_{k=1}^rZ_k^2 .$$

仮定 $A\bm{\mu}=\bm{0}$ に左から $Q^\top$ を掛ける。すると $\Lambda Q^\top\bm{\mu}=\bm{0}$ を得る。よって $Q^\top\bm{\mu}$ の最初の $r$ 成分は0である。よって $Z_1,\dots,Z_r$ は独立に $\mathrm{N}(0,\sigma^2)$ に従い、主張が出る。

2. $(A\bm{Y},B\bm{Y})$ は $\bm{Y}$ の線形変換なので、同時に多変量正規分布に従う。共分散は

$$\mathrm{Cov}(A\bm{Y},B\bm{Y})=A(\sigma^2I)B^\top=\sigma^2AB=O .$$

多変量正規分布では無相関と独立が同値なので、両者は独立である。$A$ は対称べき等だから $\bm{Y}^\top A\bm{Y}=\lVert A\bm{Y}\rVert ^2$ である。これは $A\bm{Y}$ の関数である。

$B$ もべき等なら、同じく $\bm{Y}^\top B\bm{Y}=\lVert B\bm{Y}\rVert ^2$ である。べき等でないときも、$AB=O$ の転置から $BA=O$ となる。すると

$$\begin{aligned}B\bm{Y}&=B(I-A)\bm{Y}+BA\bm{Y}=B(I-A)\bm{Y},\\ \bm{Y}^\top B\bm{Y}&=\bm{Y}^\top(I-A)B(I-A)\bm{Y}\end{aligned}$$

はいずれも $(I-A)\bm{Y}$ の関数である。最後に、$A(I-A)=O$ である。よって $(I-A)\bm{Y}$ は $A\bm{Y}$ と無相関、したがって独立で、主張が従う。

この補題を $A=I-H$ に使う。$(I-H)X\bm{\beta}=\bm{0}$ なので、

証明

前半は補題 9.5 の1で $A=I-H$、$r=n-p$ とすればよい。後半を示す。$X^\top H=X^\top$ により、次のように書ける。

$$\hat{\bm{\beta}}=(X^\top X)^{-1}X^\top H\bm{Y} .$$

よって $\hat{\bm{\beta}}$ は $H\bm{Y}$ の関数である。また $(I-H)H=O$ である。補題の2から、$S_e$ と $H\bm{Y}$ は独立になる。

不偏性 $E[S_e]=(n-p)\sigma^2$ だけなら正規性は要らない。一般に

$$E[\bm{Y}^\top A\bm{Y}]=\operatorname{Tr}(A\,\mathrm{Cov}(\bm{Y}))+\bm{\mu}^\top A\bm{\mu}$$

であり、$A=I-H$ を入れれば $\sigma^2(n-p)+0$ となる（確認テスト 9.2-2）。

係数の $t$ 検定と線形仮説の $F$ 検定

$(X^\top X)^{-1}$ の対角成分を順に $c_{jj}$ と書く。$\hat\beta_j\sim\mathrm{N}(\beta_j,\sigma^2c_{jj})$ で、これは $S_e$ と独立なので

$$T_j=\frac{\hat\beta_j-\beta_j}{\sqrt{\hat\sigma^2c_{jj}}}\sim t_{n-p} .$$

複数の係数を同時に検定するには、モデルを入れ子にして残差平方和を比べる。$H_0$ のもとでのモデルを

$$\bm{Y}=X_0\bm{\gamma}+\bm{\varepsilon}$$

とする。$X_0$ は $n\times(p-q)$ 行列とする。その列空間は $\mathcal C(X)$ に含まれるとする。その射影行列を $H_0$、残差平方和を $S_{e0}=\bm{Y}^\top(I-H_0)\bm{Y}$ とする。

たとえば $H_0:\beta_{p-q}=\dots=\beta_{p-1}=0$ を考える。このときの $X_0$ は、計画行列から最後の $q$ 列を除いたものである。

証明

$\mathcal C(X_0)\subset\mathcal C(X)$ なので $HX_0=X_0$ である。よって $HH_0=H_0$ で、転置して $H_0H=H_0$ である。$A=H-H_0$ とおくと、次が成り立つ。

$$\begin{aligned}A^\top&=A,\qquad A^2=H-H_0-H_0+H_0=A &&\text{（対称べき等）},\\ \operatorname{Tr} A&=\operatorname{Tr} H-\operatorname{Tr} H_0=p-(p-q)=q &&\text{（階数）},\\ S_{e0}-S_e&=\bm{Y}^\top(I-H_0)\bm{Y}-\bm{Y}^\top(I-H)\bm{Y}=\bm{Y}^\top A\bm{Y} .\end{aligned}$$

帰無仮説のもとで $\bm{\mu}=X_0\bm{\gamma}$ なので、$A\bm{\mu}=X_0\bm{\gamma}-X_0\bm{\gamma}=\bm{0}$。補題 9.5 の1より $\bm{Y}^\top A\bm{Y}/\sigma^2\sim\chi^2_q$。

また $A(I-H)=H-H^2-H_0+H_0H=O$ である。補題の2より、$\bm{Y}^\top A\bm{Y}$ と $S_e=\bm{Y}^\top(I-H)\bm{Y}$ は独立である。両者を自由度で割った比が $F_{q,n-p}$ に従う。

$q=1$ の場合を考える。このとき $F$ は、1つの係数の $t$ 統計量の2乗に一致する（例題 9.3 で数値で確かめる）。$X_0=\bm{1}$（切片だけ）とすると $S_{e0}=S_{YY}$ で、全係数が0かどうかの検定になる。このときの $F$ は、決定係数 $R^2=1-S_e/S_{YY}$ で次のように書ける（確認テスト 9.2-4）。

$$F=\frac{R^2/(p-1)}{(1-R^2)/(n-p)} .$$

確認テスト

オリジナル

1. 9.2-1 $p=2$、$X=(\bm{1},\bm{x})$ とする。$H$ の対角成分 $h_{ii}$（てこ比）が次の形になることを示せ。

$$h_{ii}=\frac1n+\frac{(x_i-\bar x)^2}{S_{xx}} .$$

また $\sum_ih_{ii}=2$ を確かめよ。2. 9.2-2 正規性は仮定せず、$E[\bm{\varepsilon}]=\bm{0}$ と $\mathrm{Cov}(\bm{\varepsilon})=\sigma^2I$ だけを仮定する。このとき $E[S_e]=(n-p)\sigma^2$ を示せ。3. 9.2-3 $X$ の列を $\bm{1},\ \bm{x}=(0,1,2,3)^\top$ とする。$(X^\top X)^{-1}$ を求めよ。また $V[\hat\beta_0]$ と $V[\hat\beta_1]$ が、単回帰の式 (9.5) と一致することを確かめよ。4. 9.2-4 切片を含む $p$ 列の計画で、全係数（切片を除く）が0という仮説を考える。その $F$ 統計量が次のように書けることを示せ。

$$F=\frac{R^2/(p-1)}{(1-R^2)/(n-p)} .$$