散布図と相関係数

統計学の復習　第14章 §14.1　★★★ 相関係数は平均を引いた2本のベクトルのなす角の余弦で、$r=S_{xy}/\sqrt{S_{xx}S_{yy}}$ と書けば $n$ で割るか $n-1$ で割るかは現れない

この章は、対策本の第25章（相関分析）と第26章（回帰分析）に当たる。

第7章では、2つの確率変数 $X,Y$ の連動の度合いを共分散 $\mathrm{Cov}(X,Y)$ と相関係数 $\rho$ で測った。これらは母集団の分布についての量である。この章では、手元にある $n$ 組のデータ $(x_1,y_1),\dots,(x_n,y_n)$ から、同じ種類の量を計算する方法と、一方の変数から他方の変数を予測する直線を引く方法を扱う。

この章で作る道具は4つある。第一に、データの相関係数を、平均を引いた2本のベクトルのなす角の余弦として定義し、$-1\le r\le1$ を Cauchy–Schwarz の不等式から示すことである（§14.1）。第二に、第三の変数 $z$ の影響を取り除いた相関（偏相関係数）と、データを層に分けて見る層別解析である。全体の相関と層の中の相関が逆向きになる例を、偏差積和の分解から説明する（§14.2）。第三に、最小二乗法で回帰直線を求め、残差の性質と平方和の分解 $S_{yy}=S_R+S_e$ を導くことである（§14.3・§14.4）。説明変数が2つの重回帰と決定係数もここに含める（§14.5）。第四に、誤差に正規分布を仮定して、傾きの推定量 $b_1$ の平均と分散を導き、傾きの $t$ 検定・回帰の分散分析・相関係数の区間推定を組み立てることである（§14.6）。

2級でのこの範囲の失点は、共分散を $n$ と $n-1$ のどちらで割るかを片側だけ揃えること、単回帰の自由度を $n-1$ と数えること、相関係数の区間推定の $n-3$ を回帰の $n-2$ と取り違えることに集中する。この章ではどれも、式の形と自由度の数え方を導出から確かめて防ぐ。1級との関係では、回帰を行列で $\bm Y=X\bm\beta+\bm\varepsilon$ と書き、射影行列 $H=X(X^\top X)^{-1}X^\top$ で最小二乗推定量の分布を導く手続きが、統計数理の線形モデルの大問の標準形になる。この章の結果はその $p=1,2$ の場合で、行列による一般の扱いは数理統計の解説 第9章 §9.1・§9.2 で扱う。

散布図

2つの量的変数を同じ個体について測ったデータ $(x_i,y_i)$（$i=1,\dots,n$）を、平面上の $n$ 個の点として打った図を散布図と呼ぶ。散布図から読み取るのは、点の並びが右上がりか右下がりか（関係の向き）、直線の周りにどれだけ集まっているか（関係の強さ）、直線でなく曲線に沿っていないか（関係の形）、ほかの点から大きく離れた点がないか（外れ値）の4つである。相関係数はこのうち初めの2つだけを1つの数にまとめる量であり、残りの2つは散布図を見なければ分からない。数値を計算する前に散布図を描くのはこのためである。

偏差平方和と偏差積和

この章の計算はすべて次の3つの量から始まる。

$S_{xx}$ は第2章 §2.5 で使った偏差平方和そのものである。手計算では、和をとってから平均の分を引く形が速い。$\sum(x_i-\bar x)(y_i-\bar y)$ を展開すると $\sum x_iy_i-\bar y\sum x_i-\bar x\sum y_i+n\bar x\bar y$ で、$\sum x_i=n\bar x$、$\sum y_i=n\bar y$ を入れると後ろの3項は $-n\bar x\bar y$ にまとまる。したがって

$$S_{xy}=\sum_{i=1}^nx_iy_i-\frac{\bigl(\sum x_i\bigr)\bigl(\sum y_i\bigr)}{n},\qquad S_{xx}=\sum_{i=1}^nx_i^2-\frac{\bigl(\sum x_i\bigr)^2}{n}\tag{14.2}$$

であり、$S_{yy}$ も同じ形である。必要なのは $\sum x_i,\ \sum y_i,\ \sum x_i^2,\ \sum y_i^2,\ \sum x_iy_i$ の5つの和だけである。

共分散と相関係数

$S_{xy}$ を $n$ で割った $S_{xy}/n$ をデータの共分散と呼ぶ。$n-1$ で割った $S_{xy}/(n-1)$ は不偏共分散と呼ばれ、第9章 確認テスト 9.3-3 で見たとおり母集団の共分散の不偏推定量になる。どちらで割るかで値が変わるので、共分散の値を答えるときは問題文の指定に従う。

共分散の符号は関係の向きを表す。$x_i$ が平均より大きい個体で $y_i$ も平均より大きいことが多ければ、正の積 $(x_i-\bar x)(y_i-\bar y)$ が多くなり、和は正になる。しかし共分散の大きさは単位に依存する。$x$ を cm から m に直すと偏差はすべて $1/100$ 倍になり、共分散も $1/100$ 倍になる。そこで、それぞれの散らばりで割って単位を消す。

共分散と2つの分散を同じ割り方で作れば、どの割り方でも式 (14.3) と同じ値になる。$n$ で割った場合は

$$\frac{S_{xy}/n}{\sqrt{S_{xx}/n}\sqrt{S_{yy}/n}}=\frac{S_{xy}/n}{\sqrt{S_{xx}S_{yy}}/n}=\frac{S_{xy}}{\sqrt{S_{xx}S_{yy}}}$$

で、分子と分母の $1/n$ が約分される。$n-1$ で割った場合も同じである。誤りになるのは、分子と分母の一部だけを割り、残りを割らずに使う場合である。式 (14.3) の形で計算すれば割り算そのものが現れないので、この誤りは起こらない。

相関係数はベクトルのなす角の余弦である

$n$ 次元のベクトル

$$\bm a=(x_1-\bar x,\ \dots,\ x_n-\bar x),\qquad \bm b=(y_1-\bar y,\ \dots,\ y_n-\bar y)$$

を考える。各成分から平均を引いているので、$\bm a$ と $\bm b$ を中心化したベクトルと呼ぶ。内積と長さで書くと

$$\bm a\cdot\bm b=S_{xy},\qquad \lVert \bm a\rVert ^2=S_{xx},\qquad \lVert \bm b\rVert ^2=S_{yy}$$

であり、式 (14.3) は

$$r=\frac{\bm a\cdot\bm b}{\lVert \bm a\rVert \,\lVert \bm b\rVert }=\cos\theta\tag{14.4}$$

と書ける。$\theta$ は $\bm a$ と $\bm b$ のなす角である（図 14.1）。共分散 $S_{xy}/n$ は長さを含んだ内積で、相関係数は長さで割って向きの揃い具合だけを取り出した余弦である。単位を変えると $\bm a$ や $\bm b$ の長さは変わるが向きは変わらないので、相関係数は変わらない。

証明

任意の実数 $t$ について、2乗の和は負にならないので

$$0\le\sum_{i=1}^n\bigl\{(y_i-\bar y)-t(x_i-\bar x)\bigr\}^2=S_{yy}-2tS_{xy}+t^2S_{xx}$$

である。右辺は $t$ の2次式で、$S_{xx}>0$ であるから、すべての $t$ で $0$ 以上になる条件は判別式が $0$ 以下であること、すなわち $4S_{xy}^2-4S_{xx}S_{yy}\le0$ である。両辺を $4S_{xx}S_{yy}>0$ で割ると $r^2\le1$ となる（これはベクトルの Cauchy–Schwarz の不等式 $\lvert \bm a\cdot\bm b\rvert \le\lVert \bm a\rVert \lVert \bm b\rVert$ と同じ式である）。

等号 $r^2=1$ が成り立つのは判別式が $0$ のときで、そのとき2次式は $t=t_0=S_{xy}/S_{xx}$ で $0$ になる。2乗の和が $0$ なので各項が $0$ で、すべての $i$ について $y_i-\bar y=t_0(x_i-\bar x)$ である。$S_{yy}>0$ から $t_0\ne0$ で、点はすべて直線 $y=\bar y+t_0(x-\bar x)$ の上にある。$r$ と $t_0$ はどちらも $S_{xy}$ と同じ符号を持つ。逆に、すべての点が $y=\alpha+\gamma x$ の上にあれば $y_i-\bar y=\gamma(x_i-\bar x)$ で、$S_{xy}=\gamma S_{xx}$、$S_{yy}=\gamma^2S_{xx}$ となり、$r=\gamma/\lvert \gamma\rvert =\pm1$ である。

相関係数は直線的な関係の強さだけを測る。$x=-2,-1,0,1,2$ に対して $y=x^2$ とすると、$y$ は $x$ で完全に決まっているが、$S_{xy}=\sum x_i^3-0=0$ なので $r=0$ になる（確認テスト 14.1-3）。$r=0$ は「直線的な関係がない」ことを表すだけで、「関係がない」ことは表さない。また、相関係数が大きいことは因果関係があることを意味しない。これは §14.2 の擬相関の話題になる。

変数が3つ以上あるときは、2つずつの相関係数を行列に並べた相関行列を作る。$(j,k)$ 成分が $r_{x_jx_k}$ で、対角成分はすべて $1$、行列は対称である。

確認テスト

オリジナル

1. 14.1-1 身長 $x$（cm）と体重 $y$（kg）のデータで、$x$ を m に、$y$ を g に直した。$n$ で割った共分散と相関係数はそれぞれ何倍になるか。また、一般に $u=ax+b$、$v=cy+d$（$ac\ne0$）と変換したとき $r_{uv}$ を $r_{xy}$ で表せ。
2. 14.1-2 $n=5$ のデータで $\sum x=30$、$\sum y=40$、$\sum x^2=200$、$\sum y^2=340$、$\sum xy=250$ であった。$n$ で割った共分散・$n-1$ で割った不偏共分散・相関係数を求めよ。
3. 14.1-3 (i) $x=-2,-1,0,1,2$ と $y=x^2$ の相関係数を求めよ。(ii) $x=0,1,2,3,4$ と $y=x^2$ の相関係数を小数第3位まで求めよ。(i) と (ii) の違いを、相関係数が何を測るかから説明せよ。
4. 14.1-4 定理 14.3 の証明の2次式を使わずに、$\tilde x_i=(x_i-\bar x)/\sqrt{S_{xx}}$、$\tilde y_i=(y_i-\bar y)/\sqrt{S_{yy}}$ と置いて $\sum(\tilde x_i\mp\tilde y_i)^2\ge0$ から $-1\le r\le1$ を示せ。