単回帰分析と最小二乗法

統計学の復習　第14章 §14.3　★★★ 残差平方和を最小にする直線は、傾き $b_1=S_{xy}/S_{xx}$、切片 $b_0=\bar y-b_1\bar x$ で、必ず点 $(\bar x,\bar y)$ を通る。平方完成だけで導ける

回帰の考え方

相関係数は $x$ と $y$ を対等に扱うが、回帰分析では一方の変数 $x$（説明変数）の値から他方の変数 $y$（目的変数・被説明変数）の値を予測する直線

$$\hat y=b_0+b_1x$$

を求める。$b_0$ を切片、$b_1$ を回帰係数（傾き）と呼び、この直線を $y$ の $x$ への回帰直線と呼ぶ。説明変数が1つの場合を単回帰、2つ以上の場合を重回帰と呼ぶ。

母集団の側では、

$$Y_i=\beta_0+\beta_1x_i+\varepsilon_i\qquad(i=1,\dots,n)\tag{14.8}$$

というモデルを考える。$x_i$ は確率変数でない既知の数、$\beta_0,\beta_1$ は未知の母数、$\varepsilon_i$ は観測ごとの誤差を表す確率変数である。$b_0,b_1$ はデータから計算する $\beta_0,\beta_1$ の推定値であり、§14.6 では $Y_i$ の関数としての推定量として扱う。

最小二乗法

直線 $b_0+b_1x$ を引いたとき、$i$ 番目の点の縦方向のずれ $y_i-(b_0+b_1x_i)$ を残差と呼ぶ。残差の2乗の和

$$Q(b_0,b_1)=\sum_{i=1}^n\bigl(y_i-b_0-b_1x_i\bigr)^2\tag{14.9}$$

を最小にする $b_0,b_1$ を選ぶ方法を最小二乗法と呼ぶ。縦方向のずれを測るのは、$y$ を予測することが目的で、予測の誤差は縦方向に現れるからである。2乗するのは、正と負のずれが打ち消し合わないようにし、しかも平方完成で最小値を求めることができるようにするためである。

証明

2段階で最小化する。まず $b_1$ を固定し、$d_i=y_i-b_1x_i$ と置くと $Q=\sum(d_i-b_0)^2$ である。第2章 §2.2 の平行移動の公式から

$$\sum(d_i-b_0)^2=\sum(d_i-\bar d)^2+n(\bar d-b_0)^2$$

で、$b_0$ を含むのは第2項だけなので、$b_0=\bar d=\bar y-b_1\bar x$ のとき最小になる。

次にこの $b_0$ を代入すると、$y_i-b_0-b_1x_i=(y_i-\bar y)-b_1(x_i-\bar x)$ なので

$$Q=\sum\bigl\{(y_i-\bar y)-b_1(x_i-\bar x)\bigr\}^2=S_{yy}-2b_1S_{xy}+b_1^2S_{xx} =S_{xx}\Bigl(b_1-\frac{S_{xy}}{S_{xx}}\Bigr)^2+S_{yy}-\frac{S_{xy}^2}{S_{xx}}$$

となる。$S_{xx}>0$ なので、第1項が $0$ になる $b_1=S_{xy}/S_{xx}$ のとき最小で、最小値は式 (14.11) である。どちらの段階でも最小にする値はただ1つなので、最小にする組もただ1組である。

$Q$ を $b_0,b_1$ で偏微分して $0$ と置いても同じ結果が得られる。そのとき出てくる2本の式

$$\sum_{i=1}^n(y_i-b_0-b_1x_i)=0,\qquad \sum_{i=1}^nx_i(y_i-b_0-b_1x_i)=0\tag{14.12}$$

を正規方程式と呼ぶ。1本目を $n$ で割ると $\bar y=b_0+b_1\bar x$ で、回帰直線は必ず点 $(\bar x,\bar y)$ を通る。

回帰係数と相関係数の関係

式 (14.10) の $b_1$ を相関係数で書き直すと、$S_{xy}=r\sqrt{S_{xx}S_{yy}}$ なので

$$b_1=r\sqrt{\frac{S_{yy}}{S_{xx}}}=r\,\frac{s_y}{s_x}\tag{14.13}$$

である（$s_x,s_y$ は同じ割り方で作った標準偏差で、どちらの割り方でも比は同じ）。両辺を標準化すると、回帰直線は

$$\frac{\hat y-\bar y}{s_y}=r\,\frac{x-\bar x}{s_x}$$

と書ける。$x$ が平均から標準偏差1つぶん離れていても、予測値 $\hat y$ は平均から標準偏差の $\lvert r\rvert$ 倍しか離れない。$\lvert r\rvert <1$ である限り、予測値は平均の側に寄る。これを平均への回帰と呼び、回帰という名前はこの現象に由来する。

$b_1$ の符号は $r$ の符号と一致する。ただし $b_1$ の大きさは単位に依存し、$r$ の大きさとは別物である。$b_1$ が大きいからといって関係が強いとは限らない。

$x$ を $y$ に回帰した直線（$x$ を予測する直線）の傾きは $S_{xy}/S_{yy}$ で、$y$ の $x$ への回帰直線とは一般に一致しない（確認テスト 14.3-3）。2本の直線が一致するのは $\lvert r\rvert =1$ のときだけである。どちらを目的変数にするかは、何を予測したいかで決める。

確認テスト

オリジナル

1. 14.3-1 回帰直線 $\hat y=b_0+b_1x$ が点 $(\bar x,\bar y)$ を通ることを、式 (14.10) から1行で示せ。
2. 14.3-2 $n=6$ のデータで $\sum x=21$、$\sum y=48$、$S_{xx}=17.5$、$S_{xy}=14$ であった。回帰直線を求めよ。
3. 14.3-3 例題 14.4 のデータで、$x$ の $y$ への回帰直線 $\hat x=c_0+c_1y$ を求めよ。また $b_1c_1=r^2$ であることを一般に示し、2本の回帰直線が一致する条件を答えよ。
4. 14.3-4 原点を通る直線 $\hat y=bx$ を最小二乗法で当てはめる。$\sum(y_i-bx_i)^2$ を最小にする $b$ を求めよ。また、このときの残差の和 $\sum(y_i-bx_i)$ は一般に $0$ にならないことを、$(x,y)=(1,1),(2,1)$ の例で確かめよ。