予測値と残差

統計学の復習　第14章 §14.4　★★★ 残差は和が $0$ で、$x$ とも予測値とも直交する。その結果 $S_{yy}=S_R+S_e$ と分解でき、残差平方和は $S_{yy}-S_{xy}^2/S_{xx}=S_{yy}-b_1S_{xy}=S_{yy}(1-r^2)$ の3通りに書ける

予測値と残差の性質

回帰直線に $x_i$ を入れた値 $\hat y_i=b_0+b_1x_i$ を予測値（当てはめ値）、$e_i=y_i-\hat y_i$ を残差と呼ぶ。正規方程式 (14.12) はそのまま残差の性質として読むことができる。

(ii) と (i) から $\sum(x_i-\bar x)e_i=0$ でもある。ベクトルの言葉では、残差のベクトル $(e_1,\dots,e_n)$ は、すべての成分が $1$ のベクトルとも、$x$ のベクトルとも直交している。最小二乗法は、$y$ のベクトルを「成分が $1$ のベクトルと $x$ のベクトルが張る平面」に直交射影する操作であり、予測値のベクトルはその射影、残差のベクトルは平面に垂直な成分である。この見方は数理統計の解説 第9章 §9.2 の射影行列 $H$ で一般化される。

平方和の分解

式 (14.15) から、残差平方和には次の3つの同値な形がある。

$$S_e=\sum_{i=1}^ne_i^2=S_{yy}-\frac{S_{xy}^2}{S_{xx}}=S_{yy}-b_1S_{xy}=S_{yy}(1-r^2).\tag{14.16}$$

最後の形は $S_{xy}^2/S_{xx}=r^2S_{yy}$ から出る。$y$ の散らばり $S_{yy}$ のうち、割合 $r^2$ が回帰直線で説明され、残りの割合 $1-r^2$ が残差に残る。この割合 $r^2$ を §14.5 で決定係数として定義する。試験では、与えられた量によって使う形を選ぶ。残差がすべて与えられていれば $\sum e_i^2$、$S_{xx},S_{yy},S_{xy}$ が与えられていれば2番目か3番目、相関係数が与えられていれば4番目が速い。

図 14.3　例題 14.5 の散布図と回帰直線（実線）。灰色の縦線が残差で、その2乗の和が $S_e=5.1$。破線は $\bar y$ の水準

残差プロット

横軸に予測値 $\hat y_i$（または $x_i$）、縦軸に残差 $e_i$ を打った図を残差プロットと呼ぶ。残差には命題 14.7 によって $\hat y_i$ と相関がない（$\sum(\hat y_i-\bar y)e_i=0$）ので、モデルが正しければ残差は $0$ の周りに帯状に、形を持たずに散らばる。形が見えれば、それがモデルの仮定の破れを示す。U字や逆U字の曲線が見えれば関係は直線でない。右へ行くほど縦の広がりが大きくなれば誤差の分散が一定でない。観測の順に並べて波打てば誤差どうしが独立でない。関係が指数的なら $\log y$ を目的変数にする、のように変数を変換して直線の関係に直してから回帰する方法がある（確認テスト 14.4-3）。

確認テスト

オリジナル

1. 14.4-1 最小二乗法の残差の和が $0$ になる理由を、正規方程式 (14.12) のどちらの式から出るかを示して1文で答えよ。
2. 14.4-2 確認テスト 14.3-2 のデータで $S_{yy}=20$ であった。$S_R$ と $S_e$ を求め、$S_R/S_{yy}=r^2$ を確かめよ。
3. 14.4-3 $x=1,2,3,4,5$、$y=x^2$ のデータに直線を当てはめる。回帰直線と残差を求め、残差の並びから何が読み取れるかを答えよ。
4. 14.4-4 平方和の分解 (14.15) の交差項が $0$ になることを、命題 14.7 を使わずに、$\hat y_i-\bar y=b_1(x_i-\bar x)$ と $e_i=(y_i-\bar y)-b_1(x_i-\bar x)$ から直接示せ。