tecktom.com

2変数の期待値と分散

2026年10月17日26分で読めますAI生成教科書『資格試験』第7章 2変数の確率分布
目次
  1. 2変数の関数の期待値と和の期待値
  2. 共分散
  3. 和と線形結合の分散
  4. 相関係数
  5. 無相関と独立
  6. 確認テスト
  7. 木下の層

AI 生成・木下が未勉強

統計学の復習 第7章 §7.2 ★★★ 期待値は独立でなくても足し算に分かれるが、分散は共分散の項が加わる。nn 個の和の分散は「対角の nn 項+非対角の n(n−1)n(n-1) 項」。相関係数は −1-1 以上 11 以下で、直線的な連動だけを測る

2変数の関数の期待値と和の期待値

(X,Y)(X,Y) の関数 g(X,Y)g(X,Y)(和 X+YX+Y、積 XYXY など)も確率変数なので、その期待値を考えることができる。第4章の「Y=g(X)Y=g(X) の期待値は YY の分布を求めなくても ∑g(x)p(x)\sum g(x)p(x) で計算できる」という結果は、2変数でもそのまま成り立つ。

定理 7.8(2変数の関数の期待値)

E[g(X,Y)]=∑x∑yg(x,y) p(x,y)(離散型),E[g(X,Y)]=∬g(x,y)f(x,y) dx dy(連続型).(7.9)\begin{aligned} E[g(X,Y)]&=\sum_x\sum_yg(x,y)\,p(x,y)&&(\text{離散型}),\\ E[g(X,Y)]&=\iint g(x,y)f(x,y)\,\mathrm{d} x\,\mathrm{d} y&&(\text{連続型}). \end{aligned}\tag{7.9}

証明(離散型)

W=g(X,Y)W=g(X,Y) のとる値を ww とすると、事象 {W=w}\{W=w\} は、g(x,y)=wg(x,y)=w となる組 (x,y)(x,y) の事象 {X=x,Y=y}\{X=x,Y=y\} の排反な和集合なので、P(W=w)=∑(x,y):g(x,y)=wp(x,y)P(W=w)=\sum_{(x,y):g(x,y)=w}p(x,y) である。よって

E[W]=∑ww P(W=w)=∑w∑(x,y):g(x,y)=wg(x,y) p(x,y)=∑x∑yg(x,y) p(x,y)E[W]=\sum_ww\,P(W=w)=\sum_w\sum_{(x,y):g(x,y)=w}g(x,y)\,p(x,y)=\sum_x\sum_yg(x,y)\,p(x,y)

となる。最後の等号は、すべての組 (x,y)(x,y) を「gg の値が同じもの」ごとにまとめて数えるか、まとめずに数えるかの違いである。連続型の証明は数理統計の解説 第4章 §4.1 に送る。

定理 7.9(和の期待値)

定数 a,b,ca,b,c に対して、XX と YY が独立でなくても

E[aX+bY+c]=aE[X]+bE[Y]+c(7.10)E[aX+bY+c]=aE[X]+bE[Y]+c\tag{7.10}

が成り立つ。とくに E[X+Y]=E[X]+E[Y]E[X+Y]=E[X]+E[Y] である。

証明

式 (7.9) で g(x,y)=ax+by+cg(x,y)=ax+by+c とし、和を3つに分けると

E[aX+bY+c]=a∑xx∑yp(x,y)+b∑yy∑xp(x,y)+c∑x∑yp(x,y).E[aX+bY+c]=a\sum_x x\sum_yp(x,y)+b\sum_yy\sum_xp(x,y)+c\sum_x\sum_yp(x,y).

内側の和は式 (7.2) から周辺確率関数 pX(x)p_X(x)、pY(y)p_Y(y) になり、最後の二重和は 11 である。よって右辺は a∑xxpX(x)+b∑yypY(y)+c=aE[X]+bE[Y]+ca\sum_xxp_X(x)+b\sum_yyp_Y(y)+c=aE[X]+bE[Y]+c である。連続型は和を積分に替えて同じ計算をする。

この定理には独立の仮定が無い。期待値の線形性は、同時分布がどんな形でも周辺分布だけで決まる性質である。繰り返し使うと E[X1+⋯+Xn]=E[X1]+⋯+E[Xn]E[X_1+\cdots+X_n]=E[X_1]+\cdots+E[X_n] で、第5章で二項分布の期待値 npnp や超幾何分布の期待値 nM/NnM/N を「0か1の和」から出せたのは、この性質による(超幾何分布の0か1の変数は独立でない)。

定理 7.10(独立な変数の積の期待値)

XX と YY が独立なら、関数 g,hg,h に対して E[g(X)h(Y)]=E[g(X)] E[h(Y)]E[g(X)h(Y)]=E[g(X)]\,E[h(Y)] である。とくに E[XY]=E[X]E[Y]E[XY]=E[X]E[Y] である。

証明

独立なので p(x,y)=pX(x)pY(y)p(x,y)=p_X(x)p_Y(y) で、式 (7.9) の二重和は

E[g(X)h(Y)]=∑x∑yg(x)h(y) pX(x)pY(y)=(∑xg(x)pX(x))(∑yh(y)pY(y))=E[g(X)]E[h(Y)]E[g(X)h(Y)]=\sum_x\sum_yg(x)h(y)\,p_X(x)p_Y(y)=\Bigl(\sum_xg(x)p_X(x)\Bigr)\Bigl(\sum_yh(y)p_Y(y)\Bigr)=E[g(X)]E[h(Y)]

と積に分かれる。連続型も同様である。

和の期待値と違い、積の期待値が積に分かれるには独立性が要る。独立でなければ一般に E[XY]≠E[X]E[Y]E[XY]\ne E[X]E[Y] で、その差が次の共分散である。

共分散

定義 7.11(共分散)

μX=E[X]\mu_X=E[X]、μY=E[Y]\mu_Y=E[Y] として、

Cov(X,Y)=E[(X−μX)(Y−μY)](7.11)\mathrm{Cov}(X,Y)=E\bigl[(X-\mu_X)(Y-\mu_Y)\bigr]\tag{7.11}

を XX と YY の共分散と呼ぶ。

共分散の意味は、偏差の積 (X−μX)(Y−μY)(X-\mu_X)(Y-\mu_Y) の符号を考えると分かる。XX が平均より大きいときに YY も平均より大きい傾向があれば、偏差の積は「正×正」や「負×負」になることが多く、その平均である共分散は正になる。XX が大きいと YY が小さい傾向があれば「正×負」が多くなり、共分散は負になる。共分散は2つの変数が同じ向きに動くか逆向きに動くかを符号で表す。ただし値の大きさは XX と YY の単位に依存し(XX を cm から mm に直すと共分散は10倍になる)、大きさだけで連動の強さを比べることはできない。この欠点を直したのが後の相関係数である。

定理 7.12(共分散の性質)

  • (i) Cov(X,Y)=E[XY]−E[X]E[Y]\mathrm{Cov}(X,Y)=E[XY]-E[X]E[Y]。
  • (ii) Cov(X,X)=V[X]\mathrm{Cov}(X,X)=V[X]、Cov(X,Y)=Cov(Y,X)\mathrm{Cov}(X,Y)=\mathrm{Cov}(Y,X)。
  • (iii) 定数 a,b,c,da,b,c,d に対して Cov(aX+b, cY+d)=ac Cov(X,Y)\mathrm{Cov}(aX+b,\ cY+d)=ac\,\mathrm{Cov}(X,Y)。
  • (iv) Cov(X+Y, Z)=Cov(X,Z)+Cov(Y,Z)\mathrm{Cov}(X+Y,\ Z)=\mathrm{Cov}(X,Z)+\mathrm{Cov}(Y,Z)。
  • (v) XX と YY が独立なら Cov(X,Y)=0\mathrm{Cov}(X,Y)=0。
証明

(i) (X−μX)(Y−μY)=XY−μYX−μXY+μXμY(X-\mu_X)(Y-\mu_Y)=XY-\mu_YX-\mu_XY+\mu_X\mu_Y の期待値をとり、定理 7.9 を使うとE[XY]−μYμX−μXμY+μXμY=E[XY]−μXμYE[XY]-\mu_Y\mu_X-\mu_X\mu_Y+\mu_X\mu_Y=E[XY]-\mu_X\mu_Y となる。

(ii) 定義で Y=XY=X とおけば分散の定義そのものである。対称性は偏差の積の順序を入れ替えても値が変わらないことによる。

(iii) aX+baX+b の平均は aμX+ba\mu_X+b なので偏差は a(X−μX)a(X-\mu_X) で、定数 bb は偏差から消える。同様に cY+dcY+d の偏差は c(Y−μY)c(Y-\mu_Y) で、偏差の積は ac(X−μX)(Y−μY)ac(X-\mu_X)(Y-\mu_Y) である。その期待値は ac Cov(X,Y)ac\,\mathrm{Cov}(X,Y) である。

(iv) X+YX+Y の偏差は (X−μX)+(Y−μY)(X-\mu_X)+(Y-\mu_Y) なので、ZZ の偏差との積を展開して期待値をとれば2つの共分散の和になる。

(v) 定理 7.10 から E[XY]=E[X]E[Y]E[XY]=E[X]E[Y] で、(i) から Cov(X,Y)=0\mathrm{Cov}(X,Y)=0 である。

(iii) と (iv) を合わせると、共分散はそれぞれの引数について線形(定数の足し算は消える)になる。この性質を双線形性と呼び、和の分散の計算はすべてこれに帰着する。(iii) で定数 b,db,d が消えることは、「原点をずらしても連動の仕方は変わらない」ことの式による表現である。

和と線形結合の分散

定理 7.13(線形結合の分散)

定数 a,ba,b に対して

V[aX+bY]=a2V[X]+b2V[Y]+2ab Cov(X,Y)(7.12)V[aX+bY]=a^2V[X]+b^2V[Y]+2ab\,\mathrm{Cov}(X,Y)\tag{7.12}

が成り立つ。とくに

V[X+Y]=V[X]+V[Y]+2Cov(X,Y),V[X−Y]=V[X]+V[Y]−2Cov(X,Y)(7.13)V[X+Y]=V[X]+V[Y]+2\mathrm{Cov}(X,Y),\qquad V[X-Y]=V[X]+V[Y]-2\mathrm{Cov}(X,Y)\tag{7.13}

で、XX と YY が独立なら V[X±Y]=V[X]+V[Y]V[X\pm Y]=V[X]+V[Y](どちらの符号でも足し算)である。

証明

aX+bYaX+bY の平均は aμX+bμYa\mu_X+b\mu_Y なので、偏差は a(X−μX)+b(Y−μY)a(X-\mu_X)+b(Y-\mu_Y) である。これを2乗して

(a(X−μX)+b(Y−μY))2=a2(X−μX)2+b2(Y−μY)2+2ab(X−μX)(Y−μY)\bigl(a(X-\mu_X)+b(Y-\mu_Y)\bigr)^2=a^2(X-\mu_X)^2+b^2(Y-\mu_Y)^2+2ab(X-\mu_X)(Y-\mu_Y)

の期待値をとると、3つの項はそれぞれ a2V[X]a^2V[X]、b2V[Y]b^2V[Y]、2ab Cov(X,Y)2ab\,\mathrm{Cov}(X,Y) になる。独立なら定理 7.12 (v) から最後の項が 00 である。V[X−Y]V[X-Y] は a=1a=1、b=−1b=-1 とした場合で、b2=1b^2=1 なので V[Y]V[Y] の係数は正のままである。

V[X−Y]=V[X]−V[Y]V[X-Y]=V[X]-V[Y] と書くのは典型的な誤りである。差をとると平均は引き算になるが、ばらつきは2つの変数のぶれがそれぞれ加わるので、独立なら足し算になる。分散が負にならないことからも、引き算の式が誤りであることが分かる(V[X]<V[Y]V[X]<V[Y] なら負の値になってしまう)。

同じ計算を nn 個の確率変数に広げる。Y=∑i=1naiXiY=\sum_{i=1}^na_iX_i の偏差は ∑iai(Xi−μi)\sum_ia_i(X_i-\mu_i)(μi=E[Xi]\mu_i=E[X_i])で、その2乗を展開すると、添字の組 (i,j)(i,j) が n×nn\times n 個現れる。そのうち i=ji=j の対角項 nn 個の期待値は分散に、i≠ji\ne j の非対角項 n(n−1)n(n-1) 個の期待値は共分散になる。非対角項は (i,j)(i,j) と (j,i)(j,i) が同じ値なので、i<ji<j の n(n−1)/2n(n-1)/2 組を2倍して数えることができる。

定理 7.14(nn 個の線形結合の分散)

V[∑i=1naiXi]=∑i=1nai2V[Xi]+2∑i<jaiaj Cov(Xi,Xj).(7.14)V\Bigl[\sum_{i=1}^na_iX_i\Bigr]=\sum_{i=1}^na_i^2V[X_i]+2\sum_{i<j}a_ia_j\,\mathrm{Cov}(X_i,X_j).\tag{7.14}

とくに X1,…,XnX_1,\dots,X_n が独立(どの2つも共分散が 00 なら十分)で、すべて分散 σ2\sigma^2 なら

V[∑i=1nXi]=nσ2,V[Xˉ]=V[1n∑i=1nXi]=σ2n.(7.15)V\Bigl[\sum_{i=1}^nX_i\Bigr]=n\sigma^2,\qquad V[\bar X]=V\Bigl[\frac1n\sum_{i=1}^nX_i\Bigr]=\frac{\sigma^2}{n}.\tag{7.15}

証明

偏差 Di=Xi−μiD_i=X_i-\mu_i を使うと、

(∑iaiDi)2=∑i∑jaiajDiDj=∑iai2Di2+∑i≠jaiajDiDj=∑iai2Di2+2∑i<jaiajDiDj\Bigl(\sum_ia_iD_i\Bigr)^2=\sum_i\sum_ja_ia_jD_iD_j=\sum_ia_i^2D_i^2+\sum_{i\ne j}a_ia_jD_iD_j=\sum_ia_i^2D_i^2+2\sum_{i<j}a_ia_jD_iD_j

である。期待値をとれば E[Di2]=V[Xi]E[D_i^2]=V[X_i]、E[DiDj]=Cov(Xi,Xj)E[D_iD_j]=\mathrm{Cov}(X_i,X_j) で式 (7.14) になる。共分散がすべて 00 で ai=1a_i=1 なら第2項が消えて nσ2n\sigma^2 である。ai=1/na_i=1/n なら第1項は n⋅σ2/n2=σ2/nn\cdot\sigma^2/n^2=\sigma^2/n である。

式 (7.15) の V[Xˉ]=σ2/nV[\bar X]=\sigma^2/n は、第8章の大数の法則と中心極限定理、第10章以降の区間推定と検定の標準誤差 σ/n\sigma/\sqrt n の出発点になる。独立性は第2項を消すためにだけ使っており、どの2つも無相関であれば同じ結論が成り立つ。

和の2乗を展開するときに対角項を落とさない

V[∑Xi]V[\sum X_i] を E[(∑Xi)2]−(∑E[Xi])2E[(\sum X_i)^2]-(\sum E[X_i])^2 から計算するときは、両方の2乗を対角項(nn 個)と非対角項(i<ji<j の n(n−1)/2n(n-1)/2 組を2倍)に分け、対角項どうし・非対角項どうしを組にして引く。

E[(∑iXi)2]−(∑iE[Xi])2=∑i(E[Xi2]−E[Xi]2)+2∑i<j(E[XiXj]−E[Xi]E[Xj]).E\Bigl[\Bigl(\sum_iX_i\Bigr)^2\Bigr]-\Bigl(\sum_iE[X_i]\Bigr)^2 =\sum_i\bigl(E[X_i^2]-E[X_i]^2\bigr)+2\sum_{i<j}\bigl(E[X_iX_j]-E[X_i]E[X_j]\bigr).

第1の和の各項が V[Xi]V[X_i]、第2の和の各項が Cov(Xi,Xj)\mathrm{Cov}(X_i,X_j) である。(∑E[Xi])2\bigl(\sum E[X_i]\bigr)^2 の展開に現れる対角項 ∑E[Xi]2\sum E[X_i]^2 を見落とすと、分散の主要な部分である第1の和が丸ごと消える。

もう1つの検算として、∑(Xi−μ)\sum(X_i-\mu) のように定数を引いた量の分散を展開したとき、最終結果に μ\mu が残ったら計算の誤りである。定理 7.12 (iii) から定数を引いても分散と共分散は変わらないので、正しい答えは μ\mu を含みえない。実際の計算では、展開の前に定数を引いた偏差 Di=Xi−μiD_i=X_i-\mu_i に置き換えて、μ\mu が式に現れないようにするのが安全である。

例題 7.3 戻さずに引いたカードの共分散と和の分散 ★★★

オリジナル例題 7.1 の XX(1枚目)と YY(2枚目)について、次を求めよ。

  1. E[XY]E[XY] と Cov(X,Y)\mathrm{Cov}(X,Y)、相関係数 ρ(X,Y)\rho(X,Y)(下の式 (7.16) で定義する)。
  2. V[X+Y]V[X+Y] を式 (7.13) から求め、和 S=X+YS=X+Y の分布から直接計算した値と一致することを確かめよ。
  3. 2枚を戻して引く場合(XX と YY が独立な一様分布)の V[X+Y]V[X+Y] と比べ、差の理由を述べよ。
解答

(1) 周辺分布はどちらも {1,2,3,4}\{1,2,3,4\} の一様分布なので、E[X]=E[Y]=5/2E[X]=E[Y]=5/2、E[X2]=(1+4+9+16)/4=15/2E[X^2]=(1+4+9+16)/4=15/2、V[X]=V[Y]=15/2−25/4=5/4V[X]=V[Y]=15/2-25/4=5/4 である。E[XY]E[XY] は x≠yx\ne y の12組の xyxy の平均である。12組の xyxy の和は、x=yx=y も含めた16組の和 (∑x)(∑y)=10×10=100(\sum x)(\sum y)=10\times10=100 から対角の ∑x2=30\sum x^2=30 を引いた 7070 なので、

E[XY]=7012=356,Cov(X,Y)=356−254=70−7512=−512.E[XY]=\frac{70}{12}=\frac{35}6,\qquad\mathrm{Cov}(X,Y)=\frac{35}6-\frac{25}4=\frac{70-75}{12}=-\frac5{12}.

共分散は負で、例題 7.1 (4) で見た逆向きの連動と符号が合う。相関係数は ρ=(−5/12)/(5/4)(5/4)=−1/3\rho=(-5/12)/\sqrt{(5/4)(5/4)}=-1/3 である。

(2) 式 (7.13) から

V[X+Y]=54+54+2(−512)=52−56=53.V[X+Y]=\frac54+\frac54+2\Bigl(-\frac5{12}\Bigr)=\frac52-\frac56=\frac53.

直接計算すると、S=X+YS=X+Y の値と、その値になる順序付きの組の数はS=3S=3:2組、S=4S=4:2組、S=5S=5:4組((1,4),(4,1),(2,3),(3,2)(1,4),(4,1),(2,3),(3,2))、S=6S=6:2組、S=7S=7:2組 である。E[S]=5E[S]=5、E[S2]=(9⋅2+16⋅2+25⋅4+36⋅2+49⋅2)/12=320/12=80/3E[S^2]=(9\cdot2+16\cdot2+25\cdot4+36\cdot2+49\cdot2)/12=320/12=80/3 で、V[S]=80/3−25=5/3V[S]=80/3-25=5/3 となり一致する。

(3) 戻して引くと XX と YY は独立で、V[X+Y]=5/4+5/4=5/2V[X+Y]=5/4+5/4=5/2 である。戻さない場合は共分散が負なので、和の分散が 5/25/2 から 5/35/3 へ 2/32/3 倍に小さくなる。1枚目が大きければ2枚目は小さくなりやすく、和の上下のぶれが打ち消し合うためである。この比 2/32/3 は、第5章の超幾何分布の有限母集団修正 (N−n)/(N−1)=(4−2)/(4−1)(N-n)/(N-1)=(4-2)/(4-1) と一致する。第5章で修正の因子が現れたのは、戻さない抜き出しの0か1の変数どうしに負の共分散があるからで、この例題はその仕組みを数字のカードで確かめたものである。

例題 7.4 2つの測定値を重み付きで平均する ★★

オリジナル同じ長さを2つの計器で測る。計器1の測定値 X1X_1 と計器2の測定値 X2X_2 はどちらも平均が真の長さ μ\mu で、標準偏差はそれぞれ σ1=2\sigma_1=2、σ2=3\sigma_2=3、相関係数は ρ\rho である。重み aa を使って T=aX1+(1−a)X2T=aX_1+(1-a)X_2 で長さを推定する。

  1. E[T]=μE[T]=\mu を示し、V[T]V[T] を aa と Cov(X1,X2)=C\mathrm{Cov}(X_1,X_2)=C の式で書け。
  2. V[T]V[T] を最小にする aa を σ12,σ22,C\sigma_1^2,\sigma_2^2,C で表せ。
  3. ρ=0\rho=0、ρ=0.5\rho=0.5、ρ=−1\rho=-1 のそれぞれで、最小にする aa と V[T]V[T] の最小値を求め、計器1だけを使う場合(V=4V=4)と比べよ。
解答

(1) 定理 7.9 から E[T]=aμ+(1−a)μ=μE[T]=a\mu+(1-a)\mu=\mu で、重みの和が 11 であれば aa によらず平均は真の値に一致する。定理 7.13 から

V[T]=a2σ12+(1−a)2σ22+2a(1−a)C.V[T]=a^2\sigma_1^2+(1-a)^2\sigma_2^2+2a(1-a)C.

(2) aa で微分して 00 とおくと

dV[T]da=2aσ12−2(1−a)σ22+2(1−2a)C=0⟺a(σ12+σ22−2C)=σ22−C\frac{\mathrm{d} V[T]}{\mathrm{d} a}=2a\sigma_1^2-2(1-a)\sigma_2^2+2(1-2a)C=0 \quad\Longleftrightarrow\quad a(\sigma_1^2+\sigma_2^2-2C)=\sigma_2^2-C

である。a2a^2 の係数 σ12+σ22−2C=V[X1−X2]\sigma_1^2+\sigma_2^2-2C=V[X_1-X_2] は、X1−X2X_1-X_2 が定数でなければ正なので、V[T]V[T] は下に凸な2次式で、

a∗=σ22−Cσ12+σ22−2Ca^*=\frac{\sigma_2^2-C}{\sigma_1^2+\sigma_2^2-2C}

で最小になる。

(3) C=ρσ1σ2=6ρC=\rho\sigma_1\sigma_2=6\rho である。

  • ρ=0\rho=0(C=0C=0):a∗=9/13a^*=9/13、V[T]=4⋅81/169+9⋅16/169=(324+144)/169=36/13=2.769V[T]=4\cdot81/169+9\cdot16/169=(324+144)/169=36/13=2.769。
  • ρ=0.5\rho=0.5(C=3C=3):a∗=(9−3)/(13−6)=6/7a^*=(9-3)/(13-6)=6/7、V[T]=4⋅36/49+9⋅1/49+2⋅(6/7)(1/7)⋅3=(144+9+36)/49=27/7=3.857V[T]=4\cdot36/49+9\cdot1/49+2\cdot(6/7)(1/7)\cdot3=(144+9+36)/49=27/7=3.857。
  • ρ=−1\rho=-1(C=−6C=-6):a∗=(9+6)/(13+12)=3/5a^*=(9+6)/(13+12)=3/5、V[T]=4⋅9/25+9⋅4/25+2⋅(3/5)(2/5)(−6)=(36+36−72)/25=0V[T]=4\cdot9/25+9\cdot4/25+2\cdot(3/5)(2/5)(-6)=(36+36-72)/25=0。

計器1だけの V=4V=4 に比べ、2つの計器の誤差が無相関なら分散は 2.7692.769 まで下がるが、正の相関 0.50.5 があると 3.8573.857 までしか下がらない。誤差が同じ向きにずれやすい計器を組み合わせても、ずれが打ち消し合わないからである。逆に相関が −1-1 なら、X1−μX_1-\mu と X2−μX_2-\mu が常に逆向きに比例してずれるので、重みを選べば誤差を完全に消すことができる(図 7.2)。

図

図 7.2 例題 7.4 の V[T]=4a2+9(1−a)2+12ρ a(1−a)V[T]=4a^2+9(1-a)^2+12\rho\,a(1-a) を重み aa の関数として描いたもの。実線(ρ=0\rho=0)は a=9/13a=9/13 で最小値 36/1336/13、破線(ρ=0.5\rho=0.5)は a=6/7a=6/7 で最小値 27/727/7、点線(ρ=−1\rho=-1)は a=3/5a=3/5 で 00 になる。a=1a=1 の端点の値 44 は計器1だけを使った場合の分散である。

相関係数

共分散の単位への依存を取り除くため、それぞれの標準偏差で割る。

定義 7.15(相関係数)

V[X]>0V[X]>0、V[Y]>0V[Y]>0 のとき、

ρ(X,Y)=Cov(X,Y)V[X]V[Y](7.16)\rho(X,Y)=\frac{\mathrm{Cov}(X,Y)}{\sqrt{V[X]}\sqrt{V[Y]}}\tag{7.16}

を XX と YY の相関係数と呼ぶ。ρ>0\rho>0 を正の相関、ρ<0\rho<0 を負の相関、ρ=0\rho=0 を無相関という。

定理 7.12 (iii) から、a,c>0a,c>0 なら ρ(aX+b, cY+d)=ac Cov(X,Y)/(aσX⋅cσY)=ρ(X,Y)\rho(aX+b,\ cY+d)=ac\,\mathrm{Cov}(X,Y)/(a\sigma_X\cdot c\sigma_Y)=\rho(X,Y) で、単位の取り方や原点の位置を変えても相関係数は変わらない。aa と cc の一方だけが負なら符号だけが反転する(確認テスト 7.2-5)。また、標準化した変数 X~=(X−μX)/σX\tilde X=(X-\mu_X)/\sigma_X、Y~=(Y−μY)/σY\tilde Y=(Y-\mu_Y)/\sigma_Y(第4章)を使うと ρ(X,Y)=E[X~Y~]=Cov(X~,Y~)\rho(X,Y)=E[\tilde X\tilde Y]=\mathrm{Cov}(\tilde X,\tilde Y) で、相関係数は標準化した変数どうしの共分散である。

定理 7.16(相関係数の範囲)

−1≤ρ(X,Y)≤1-1\le\rho(X,Y)\le1 が成り立つ。ρ=1\rho=1 となるのは、正の定数 aa と定数 bb によって Y=aX+bY=aX+b が確率 11 で成り立つときに限り、ρ=−1\rho=-1 となるのは負の aa によって同じ式が成り立つときに限る。

証明

標準化した X~,Y~\tilde X,\tilde Y は V[X~]=V[Y~]=1V[\tilde X]=V[\tilde Y]=1、Cov(X~,Y~)=ρ\mathrm{Cov}(\tilde X,\tilde Y)=\rho を満たす。分散は負にならないので、式 (7.13) から

0≤V[X~+Y~]=1+1+2ρ=2(1+ρ),0≤V[X~−Y~]=1+1−2ρ=2(1−ρ)0\le V[\tilde X+\tilde Y]=1+1+2\rho=2(1+\rho),\qquad0\le V[\tilde X-\tilde Y]=1+1-2\rho=2(1-\rho)

となり、前の式から ρ≥−1\rho\ge-1、後の式から ρ≤1\rho\le1 が出る。

ρ=1\rho=1 なら V[X~−Y~]=0V[\tilde X-\tilde Y]=0 である。分散が 00 の確率変数は確率 11 で平均に等しい(第4章の確認テスト)ので、X~−Y~\tilde X-\tilde Y は確率 11 で E[X~−Y~]=0E[\tilde X-\tilde Y]=0 に等しい。よって (Y−μY)/σY=(X−μX)/σX(Y-\mu_Y)/\sigma_Y=(X-\mu_X)/\sigma_X で、Y=μY+(σY/σX)(X−μX)Y=\mu_Y+(\sigma_Y/\sigma_X)(X-\mu_X) と傾きが正の直線の式になる。ρ=−1\rho=-1 なら V[X~+Y~]=0V[\tilde X+\tilde Y]=0 から同様に傾きが負の直線になる。逆に Y=aX+bY=aX+b なら Cov(X,Y)=aV[X]\mathrm{Cov}(X,Y)=aV[X]、V[Y]=a2V[X]V[Y]=a^2V[X] から ρ=a/∣a∣=±1\rho=a/\lvert a\rvert =\pm1 である。

この不等式は、任意の実数 tt について V[tX+Y]≥0V[tX+Y]\ge0、すなわち t2V[X]+2t Cov(X,Y)+V[Y]≥0t^2V[X]+2t\,\mathrm{Cov}(X,Y)+V[Y]\ge0 が成り立つことから、tt の2次式の判別式が 00 以下という条件 Cov(X,Y)2≤V[X]V[Y]\mathrm{Cov}(X,Y)^2\le V[X]V[Y] として示すこともできる。これは Cauchy–Schwarz の不等式と同じ形で、次の注意で述べる内積の見方による表現である。

共分散を内積、相関係数を角の余弦として見る

偏差 X−μXX-\mu_X と Y−μYY-\mu_Y をベクトルのように考え、2つの確率変数 U,VU,V の「内積」を E[UV]E[UV] で定めると、共分散は偏差どうしの内積、分散は偏差の長さの2乗、標準偏差は長さになる。このとき相関係数は「内積を長さの積で割ったもの」、すなわち2つの偏差のなす角の余弦 cos⁡θ\cos\theta にあたり、∣cos⁡θ∣≤1\lvert \cos\theta\rvert \le1 が定理 7.16 に、θ=0\theta=0 や π\pi(同じ向きか逆向きのベクトル)が直線の関係に対応する。データ (x1,y1),…,(xn,yn)(x_1,y_1),\dots,(x_n,y_n) の各組に確率 1/n1/n を割り振った分布(第1章の経験分布)を考えると、この章の共分散は 1n∑i(xi−xˉ)(yi−yˉ)\frac1n\sum_i(x_i-\bar x)(y_i-\bar y)、相関係数はデータの相関係数 rr になる。データの共分散を nn で割るか n−1n-1 で割るかで共分散の値は変わるが、相関係数では分子と分母で同じ因子が約分されるので値は変わらない。データの相関係数と回帰は第14章で扱う。

無相関と独立

定理 7.12 (v) から、独立なら無相関である。しかし逆は成り立たない。相関係数は、2つの変数が直線に沿ってどれだけ連動するかを測る量で、直線でない関係は測らない。

例

XX が −1,0,1-1,0,1 をそれぞれ確率 1/31/3 でとり、Y=X2Y=X^2 とする。E[X]=0E[X]=0、E[XY]=E[X3]=(−1+0+1)/3=0E[XY]=E[X^3]=(-1+0+1)/3=0 なので Cov(X,Y)=E[XY]−E[X]E[Y]=0\mathrm{Cov}(X,Y)=E[XY]-E[X]E[Y]=0 で、XX と YY は無相関である。しかし YY は XX の値で完全に決まっており、たとえば P(X=0, Y=1)=0P(X=0,\ Y=1)=0 だが P(X=0)P(Y=1)=(1/3)(2/3)=2/9≠0P(X=0)P(Y=1)=(1/3)(2/3)=2/9\ne0 なので独立でない。3点 (−1,1)(-1,1)、(0,0)(0,0)、(1,1)(1,1) は放物線の上に左右対称に並び、左半分の右下がりの傾向と右半分の右上がりの傾向が打ち消し合って、直線の傾向としては 00 になる。

独立・無相関・相関の関係

独立 ⇒\Rightarrow 無相関(Cov=0\mathrm{Cov}=0)は常に成り立つが、無相関 ⇒\Rightarrow 独立は一般には成り立たない。無相関で十分な計算(和の分散が分散の和になる、など)では独立を仮定しなくてよいが、同時分布が積に分かれることを使う計算(P(X∈A,Y∈B)P(X\in A,Y\in B) の積への分解)では独立が要る。(X,Y)(X,Y) が2変量正規分布に従う場合だけは、無相関と独立が同値になる(数理統計の解説 第4章 §4.4)。

例題 7.5 三角形の上の同時密度の共分散と相関係数 ★★★

オリジナル例題 7.2 の (X,Y)(X,Y)(同時密度 6x6x、0<x<y<10<x<y<1)について、E[Y]E[Y]、V[Y]V[Y]、E[XY]E[XY]、Cov(X,Y)\mathrm{Cov}(X,Y)、ρ(X,Y)\rho(X,Y)、V[X+Y]V[X+Y] を求めよ。

解答

周辺密度 fY(y)=3y2f_Y(y)=3y^2(0<y<10<y<1)から

E[Y]=∫013y3 dy=34,E[Y2]=∫013y4 dy=35,V[Y]=35−916=48−4580=380.E[Y]=\int_0^13y^3\,\mathrm{d} y=\frac34,\qquad E[Y^2]=\int_0^13y^4\,\mathrm{d} y=\frac35,\qquad V[Y]=\frac35-\frac9{16}=\frac{48-45}{80}=\frac3{80}.

E[XY]E[XY] は式 (7.9) の二重積分で、xx を固定して yy を xx から 11 まで先に積分すると

E[XY]=∫01(∫x1xy⋅6x dy)dx=∫016x2⋅1−x22 dx=3∫01(x2−x4) dx=3(13−15)=25.E[XY]=\int_0^1\Bigl(\int_x^1xy\cdot6x\,\mathrm{d} y\Bigr)\mathrm{d} x=\int_0^16x^2\cdot\frac{1-x^2}2\,\mathrm{d} x=3\int_0^1(x^2-x^4)\,\mathrm{d} x=3\Bigl(\frac13-\frac15\Bigr)=\frac25.

例題 7.2 (2) から E[X]=1/2E[X]=1/2、V[X]=1/20V[X]=1/20 なので、

Cov(X,Y)=25−12⋅34=16−1540=140,ρ(X,Y)=1/40(1/20)(3/80)=1/403/40=13=0.577.\mathrm{Cov}(X,Y)=\frac25-\frac12\cdot\frac34=\frac{16-15}{40}=\frac1{40},\qquad \rho(X,Y)=\frac{1/40}{\sqrt{(1/20)(3/80)}}=\frac{1/40}{\sqrt3/40}=\frac1{\sqrt3}=0.577.

共分散が正で、例題 7.2 (4) で E[Y∣X=x]=(1+x)/2E[Y\mid X=x]=(1+x)/2 が xx とともに増えることと符号が合う。和の分散は

V[X+Y]=120+380+2⋅140=4+3+480=1180V[X+Y]=\frac1{20}+\frac3{80}+2\cdot\frac1{40}=\frac{4+3+4}{80}=\frac{11}{80}

である。共分散の項を落とすと 7/807/80 になり、正の相関のぶんだけ和のぶれを小さく見積もることになる。

確認テスト

オリジナル

  1. 7.2-1 V[X]=1V[X]=1、V[Y]=4V[Y]=4、Cov(X,Y)=1.5\mathrm{Cov}(X,Y)=1.5 のとき、Cov(2X+3, −Y+1)\mathrm{Cov}(2X+3,\ -Y+1)、V[2X−Y]V[2X-Y]、ρ(X,Y)\rho(X,Y) を求めよ。
  2. 7.2-2 確認テスト 7.1-1 の分布で、E[X]E[X]、E[Y]E[Y]、E[XY]E[XY]、Cov(X,Y)\mathrm{Cov}(X,Y)、ρ(X,Y)\rho(X,Y) を求めよ(ρ\rho は小数第3位まで)。
  3. 7.2-3 X1,…,XnX_1,\dots,X_n(n≥2n\ge2)はどれも分散 σ2>0\sigma^2>0 で、どの2つの相関係数も同じ値 ρ\rho である。V[Xˉ]=σ2n(1+(n−1)ρ)V[\bar X]=\dfrac{\sigma^2}{n}\bigl(1+(n-1)\rho\bigr) を示し、ここから ρ≥−1n−1\rho\ge-\dfrac1{n-1} でなければならないことを導け。例題 7.3 の ρ=−1/3\rho=-1/3 が n=4n=4 でこの下限に一致する理由を、4枚のカードを全部引いた場合の和を考えて説明せよ。
  4. 7.2-4 XX が区間 (−1,1)(-1,1) の一様分布に従い、Y=X2Y=X^2 とする。Cov(X,Y)=0\mathrm{Cov}(X,Y)=0 を示し、P(∣X∣<1/2, Y>1/4)P(\lvert X\rvert <1/2,\ Y>1/4) と P(∣X∣<1/2) P(Y>1/4)P(\lvert X\rvert <1/2)\,P(Y>1/4) を比べて XX と YY が独立でないことを示せ。
  5. 7.2-5 V[X]>0V[X]>0、V[Y]>0V[Y]>0 とする。定数 a,c≠0a,c\ne0 と b,db,d に対して ρ(aX+b, cY+d)\rho(aX+b,\ cY+d) を ρ(X,Y)\rho(X,Y) で表せ。ある地点の日ごとの最高気温(摂氏)と、別の地点の最高気温(華氏、F=1.8C+32F=1.8C+32)の相関係数は、両方を摂氏で測った場合と比べてどうなるか。

木下の勉強ステータス

木下はまだこの記事を勉強していません。

AI(Claude)が書いた教材を、木下が勉強しながら公開しています。式と数値は検算していますが、誤りが残っているかもしれません。誤りのご指摘・削除のご依頼をいただければ直します。 連絡先:support@tecktom.com

← AI生成教科書『資格試験』の記事一覧へ