重回帰分析と決定係数・重相関係数

統計学の復習　第14章 §14.5　★★ 説明変数が2つの最小二乗法は2本の正規方程式を解けばよい。偏回帰係数は「ほかの変数で説明できる分を除いた $x_j$」に $y$ を回帰した傾きで、単回帰の傾きとは一般に異なる

説明変数が2つの重回帰

説明変数が $x_1,x_2$ の2つのとき、予測式 $\hat y=b_0+b_1x_1+b_2x_2$ の係数を、残差平方和 $\sum(y_i-b_0-b_1x_{1i}-b_2x_{2i})^2$ を最小にするように選ぶ。$b_1,b_2$ を偏回帰係数と呼ぶ。偏差平方和と偏差積和を $S_{11}=\sum(x_{1i}-\bar x_1)^2$、$S_{22}$、$S_{12}=\sum(x_{1i}-\bar x_1)(x_{2i}-\bar x_2)$、$S_{1y}=\sum(x_{1i}-\bar x_1)(y_i-\bar y)$、$S_{2y}$ と書く。

単回帰と同じく、$b_0$ について最小化すると $b_0=\bar y-b_1\bar x_1-b_2\bar x_2$ で、予測式は平均の点を通る。これを代入して $b_1,b_2$ で偏微分して $0$ と置くと、正規方程式

$$S_{11}b_1+S_{12}b_2=S_{1y},\qquad S_{12}b_1+S_{22}b_2=S_{2y}\tag{14.17}$$

が得られる。$S_{11}S_{22}-S_{12}^2>0$（$x_1$ と $x_2$ の相関係数が $\pm1$ でない）なら、連立方程式はただ1組の解

$$b_1=\frac{S_{22}S_{1y}-S_{12}S_{2y}}{S_{11}S_{22}-S_{12}^2},\qquad b_2=\frac{S_{11}S_{2y}-S_{12}S_{1y}}{S_{11}S_{22}-S_{12}^2}\tag{14.18}$$

を持つ。単回帰と同じ残差の直交性（残差は $1$・$x_1$・$x_2$ のどれとも直交する）から、平方和の分解 $S_{yy}=S_R+S_e$ も成り立ち、

$$S_R=\sum(\hat y_i-\bar y)^2=\sum(\hat y_i-\bar y)(y_i-\bar y)=b_1S_{1y}+b_2S_{2y}\tag{14.19}$$

である。2つ目の等号は $y_i-\bar y=(\hat y_i-\bar y)+e_i$ と $\sum(\hat y_i-\bar y)e_i=0$ から、3つ目は $\hat y_i-\bar y=b_1(x_{1i}-\bar x_1)+b_2(x_{2i}-\bar x_2)$ から出る。

偏回帰係数の意味

式 (14.18) の $b_1$ の分子と分母を $S_{22}$ で割ると

$$b_1=\frac{S_{1y}-\dfrac{S_{12}}{S_{22}}S_{2y}}{S_{11}-\dfrac{S_{12}^2}{S_{22}}}$$

となる。§14.2 の式 (14.5) と同じく、$x_1$ から $x_2$ の1次式で説明できる分を引いた残り $\tilde x_{1i}=(x_{1i}-\bar x_1)-(S_{12}/S_{22})(x_{2i}-\bar x_2)$ を作ると、分子は $\sum\tilde x_{1i}(y_i-\bar y)$、分母は $\sum\tilde x_{1i}^2$ である。したがって

$$b_1=\frac{\sum_i\tilde x_{1i}\,y_i}{\sum_i\tilde x_{1i}^2}\tag{14.20}$$

であり（$\sum\tilde x_{1i}=0$ なので $y_i-\bar y$ を $y_i$ にしてよい）、$b_1$ は「$x_2$ で説明できる分を除いた $x_1$」に $y$ を単回帰した傾きである。このため $b_1$ は「$x_2$ を固定したまま $x_1$ を1単位増やしたときの $y$ の変化」と読まれ、$x_1$ だけで単回帰したときの傾き $S_{1y}/S_{11}$ とは一般に一致しない。第1式 (14.17) を $S_{11}$ で割ると

$$\frac{S_{1y}}{S_{11}}=b_1+b_2\,\frac{S_{12}}{S_{11}}\tag{14.21}$$

で、単回帰の傾きは、偏回帰係数 $b_1$ に「$x_2$ の効果 $b_2$ を、$x_1$ と $x_2$ の連動の分 $S_{12}/S_{11}$ だけ取り込んだもの」を足した値になる。

決定係数と重相関係数

$0\le S_R\le S_{yy}$ なので $0\le R^2\le1$ で、$R^2$ は $y$ の散らばりのうち回帰で説明される割合である。重相関係数と決定係数の関係は次のとおりである。$\hat y_i$ の平均は $\bar y$（$\sum e_i=0$ から）で、$\sum(y_i-\bar y)(\hat y_i-\bar y)=S_R$（式 (14.19) の2つ目の等号）なので

$$R=\frac{S_R}{\sqrt{S_{yy}\,S_R}}=\sqrt{\frac{S_R}{S_{yy}}}$$

となり、重相関係数の2乗が決定係数である。$R\ge0$ である。単回帰では式 (14.16) から $R^2=r^2$ で、$R=\lvert r\rvert$ になる。単回帰で決定係数から相関係数を戻すときは、傾き $b_1$ の符号を付ける（$R^2=0.49$、$b_1<0$ なら $r=-0.7$）。重回帰の $R^2$ は、どれか1つの相関係数の2乗ではない。

説明変数を増やすと、最小化する範囲が広がるので（新しい係数を $0$ に固定すれば元のモデルになる）、$S_e$ は増えず、$R^2$ は減らない。$y$ と無関係な変数を足しても $R^2$ は上がるので、説明変数の数が違うモデルを $R^2$ で比べることはできない。そこで、説明変数が $p$ 個のとき

$$\bar R^2=1-\frac{S_e/(n-p-1)}{S_{yy}/(n-1)}=1-(1-R^2)\frac{n-1}{n-p-1}\tag{14.23}$$

を自由度調整済み決定係数と呼ぶ。分子と分母の平方和をそれぞれの自由度で割っている。$S_e$ の自由度 $n-p-1$ は、データ数 $n$ から推定した係数の数 $p+1$（切片と $p$ 個の偏回帰係数）を引いた数である。$\bar R^2$ は変数を足すと下がることがあり、負になることもある。

多重共線性とダミー変数

式 (14.18) の分母 $S_{11}S_{22}-S_{12}^2=S_{11}S_{22}(1-r_{12}^2)$ は、$x_1$ と $x_2$ の相関係数 $r_{12}$ が $\pm1$ に近いと $0$ に近くなる。このとき偏回帰係数はデータの小さな変化で大きく動き、標準誤差が大きくなる（確認テスト 14.5-4 で $V[b_1]=\sigma^2/\{S_{11}(1-r_{12}^2)\}$ を示す）。説明変数どうしが強く相関しているこの状態を多重共線性と呼ぶ。$R^2$ は大きいのに個々の係数が有意にならない、係数の符号が予想と逆になる、といった症状が出る。$1/(1-r_{12}^2)$ を分散拡大係数（VIF）と呼び、診断に使う。対処は、相関の強い変数の片方を外すことである。

性別や地域のような質的な変数は、$0$ と $1$ をとるダミー変数にして回帰に入れる。2水準なら1本のダミー $d$（基準の水準で $0$、もう一方で $1$）を入れ、$\hat y=b_0+b_1x+b_2d$ とすると、$b_2$ は $x$ が同じときの2水準の予測値の差を表す。$m$ 水準の変数には $m-1$ 本のダミーを入れる。$m$ 本すべてを入れると、ダミーの和がいつも $1$ になって切片の列と一致し、正規方程式の解が1つに決まらなくなる。

確認テスト

オリジナル

1. 14.5-1 説明変数を1つ増やすと決定係数 $R^2$ が減らない理由を1文で答えよ。
2. 14.5-2 $r_{1y}=0.6$、$r_{2y}=0.5$、$r_{12}=0.4$ のとき、標準化した変数（各変数から平均を引き、偏差平方和が $1$ になるように割ったもの）での偏回帰係数 $b_1^*,b_2^*$ と決定係数 $R^2$ を求めよ。
3. 14.5-3 気温 $x$ とダミー変数 $d$（平日 $0$・休日 $1$）で来客数 $y$ を説明する重回帰式 $\hat y=20+3x+5d$ を得た。$x=4$ の平日と休日の予測値を求め、$5$ の意味を答えよ。また、曜日を「月〜金・土・日」の3水準で扱うときダミー変数は何本入れるか。
4. 14.5-4 誤差が独立で分散 $\sigma^2$ のとき（§14.6 のモデル）、式 (14.20) を使って $V[b_1]=\sigma^2/\{S_{11}(1-r_{12}^2)\}$ を示せ。例題 14.6 の値で、$x_2$ を入れたことによる $b_1$ の分散の増え方（VIF）を求めよ。