tecktom.com

分散・共分散と独立な確率変数の積の期待値

2026年10月15日13分で読めますAI生成教科書『基礎理論』第5章 期待値と Lebesgue 積分
目次
  1. 2乗可積分と分散
  2. 独立な確率変数の積の期待値
  3. 確認テスト
  4. 木下の層

AI 生成・木下が未勉強

確率論入門 第5章 §5.4 ★★★ ばらつきを測る量(分散・共分散・相関係数)を定め、独立なら E[XY]=E[X]E[Y]E[XY]=E[X]E[Y] を4段階の構成で示す

2乗可積分と分散

期待値は分布の中心の位置を表す1つの数である。分布が中心のまわりにどれだけ広がっているかを表すため、中心からのずれの2乗の平均を考える。

そのためには E[X2]<∞E[X^2]<\infty が要る。これを満たす XX を2乗可積分と呼ぶ。次の3つの不等式から、2乗可積分な確率変数の基本的な性質が出る。

  • ∣x∣≤1+x2\left\vert x\right\vert \le1+x^2 なので、2乗可積分なら可積分である。
  • (x+y)2≤2x2+2y2(x+y)^2\le2x^2+2y^2 なので、2乗可積分な確率変数の和はまた2乗可積分である。
  • ∣xy∣≤12(x2+y2)\left\vert xy\right\vert \le\frac12(x^2+y^2) なので、2乗可積分な X,YX,Y の積は可積分である。

定義 5.19(分散・共分散・相関係数)

X,YX,Y を2乗可積分とする。

V[X]≔E[(X−E[X])2],Cov(X,Y)≔E[(X−E[X])(Y−E[Y])](5.16)V[X]\coloneqq E\bigl[(X-E[X])^2\bigr],\qquad\mathrm{Cov}(X,Y)\coloneqq E\bigl[(X-E[X])(Y-E[Y])\bigr]\tag{5.16}

の左を XX の分散、右を X,YX,Y の共分散と呼ぶ。V[X]\sqrt{V[X]} を標準偏差と呼ぶ。V[X]>0, V[Y]>0V[X]>0,\ V[Y]>0 のとき、次の量を相関係数と呼ぶ。

ρ(X,Y)≔Cov(X,Y)V[X]V[Y]\rho(X,Y)\coloneqq\frac{\mathrm{Cov}(X,Y)}{\sqrt{V[X]V[Y]}}

Cov(X,Y)=0\mathrm{Cov}(X,Y)=0 のとき、X,YX,Y は無相関であるという。

μ=E[X]\mu=E[X]、ν=E[Y]\nu=E[Y] と置く。期待値の線形性(定理 5.7)から、次の公式が出る。

V[X]=E[X2]−2μE[X]+μ2=E[X2]−(E[X])2,Cov(X,Y)=E[XY]−μE[Y]−νE[X]+μν=E[XY]−E[X]E[Y],V[aX+b]=E[(aX+b−aμ−b)2]=a2V[X].\begin{align*}V[X]&=E[X^2]-2\mu E[X]+\mu^2=E[X^2]-(E[X])^2,\tag{5.17}\\\mathrm{Cov}(X,Y)&=E[XY]-\mu E[Y]-\nu E[X]+\mu\nu=E[XY]-E[X]E[Y],\tag{5.18}\\V[aX+b]&=E\bigl[(aX+b-a\mu-b)^2\bigr]=a^2V[X].\end{align*}

共分散は双線形で(各引数について線形)、Cov(X,X)=V[X]\mathrm{Cov}(X,X)=V[X] である。したがって和の分散は

V[∑i=1nXi]=∑i=1n∑j=1nCov(Xi,Xj)=∑i=1nV[Xi]+2∑i<jCov(Xi,Xj)(5.19)V\Bigl[\sum_{i=1}^nX_i\Bigr]=\sum_{i=1}^n\sum_{j=1}^n\mathrm{Cov}(X_i,X_j)=\sum_{i=1}^nV[X_i]+2\sum_{i<j}\mathrm{Cov}(X_i,X_j)\tag{5.19}

となる。V[X]=0V[X]=0 なら、命題 5.8 (i) を (X−μ)2(X-\mu)^2 に使う。これにより X=μX=\mu a.s. である。

命題 5.20(Cauchy–Schwarz の不等式と相関係数の範囲)

2乗可積分な X,YX,Y について、次が成り立つ。

(E[XY])2≤E[X2] E[Y2]\bigl(E[XY]\bigr)^2\le E[X^2]\,E[Y^2]

とくに ∣Cov(X,Y)∣≤V[X]V[Y]\left\vert \mathrm{Cov}(X,Y)\right\vert \le\sqrt{V[X]V[Y]} で、−1≤ρ(X,Y)≤1-1\le\rho(X,Y)\le1 である。相関係数の絶対値が 1 になるのは、ある定数 a≠0, ba\ne0,\ b で Y=aX+bY=aX+b a.s. となるときに限る。

証明

E[Y2]=0E[Y^2]=0 なら Y=0Y=0 a.s. である。命題 5.8 (iii) から E[XY]=0E[XY]=0 なので成り立つ。E[Y2]>0E[Y^2]>0 とすると、任意の実数 tt について

0≤E[(X−tY)2]=E[X2]−2tE[XY]+t2E[Y2]0\le E\bigl[(X-tY)^2\bigr]=E[X^2]-2tE[XY]+t^2E[Y^2]

である。t=E[XY]/E[Y2]t=E[XY]/E[Y^2] を代入すると、

0≤E[X2]−(E[XY])2E[Y2]0\le E[X^2]-\frac{(E[XY])^2}{E[Y^2]}

となり、不等式を得る。X′=X−E[X]X'=X-E[X]、Y′=Y−E[Y]Y'=Y-E[Y] に使えば、共分散の不等式になる。等号は、上の値で E[(X′−tY′)2]=0E[(X'-tY')^2]=0 のとき、すなわち X′=tY′X'=tY' a.s. のときに限る。

Cauchy–Schwarz の不等式とその一般化(Hölder の不等式)は第10章 §10.2 で改めて扱う。

独立な確率変数の積の期待値

定理 5.21(独立なら積の期待値は期待値の積 ★★★)

X,YX,Y が独立とする。

  1. (i) X,Y≥0X,Y\ge0 なら E[XY]=E[X]E[Y]E[XY]=E[X]E[Y]。値は無限大も許し、0⋅∞=00\cdot\infty=0 と約束する。
  2. (ii) X,YX,Y が可積分なら、積も可積分で E[XY]=E[X]E[Y]E[XY]=E[X]E[Y]。
証明

(i) まず単関数の場合を考える。次の形の2つの単関数をとる。

s=∑iai1Ai(Ai∈σ(X)),t=∑jbj1Bj(Bj∈σ(Y))s=\sum_ia_i\mathbf 1_{A_i}\quad(A_i\in\sigma(X)),\qquad t=\sum_jb_j\mathbf 1_{B_j}\quad(B_j\in\sigma(Y))

σ(X)\sigma(X) と σ(Y)\sigma(Y) の独立性から

E[st]=∑i,jaibj P(Ai∩Bj)=∑i,jaibj P(Ai)P(Bj)=E[s] E[t]E[st]=\sum_{i,j}a_ib_j\,P(A_i\cap B_j)=\sum_{i,j}a_ib_j\,P(A_i)P(B_j)=E[s]\,E[t]

である。1つ目の等号は、st=∑i,jaibj1Ai∩Bjst=\sum_{i,j}a_ib_j\mathbf 1_{A_i\cap B_j} と補題 5.2 による。

次に標準近似列 sn=ϕn(X)s_n=\phi_n(X)、tn=ϕn(Y)t_n=\phi_n(Y) をとる。{sn=c}={X∈ϕn−1(c)}∈σ(X)\{s_n=c\}=\{X\in\phi_n^{-1}(c)\}\in\sigma(X) である。よって sns_n は σ(X)\sigma(X) の事象の指示関数で書ける。

tnt_n も同様である。よって E[sntn]=E[sn]E[tn]E[s_nt_n]=E[s_n]E[t_n] である。

sn,tns_n,t_n は非負の増加列なので、積も非負の増加列で sntn↑XYs_nt_n\uparrow XY である。単調収束定理を3回使って

E[XY]=lim⁡E[sntn]=lim⁡E[sn]lim⁡E[tn]=E[X]E[Y]E[XY]=\lim E[s_nt_n]=\lim E[s_n]\lim E[t_n]=E[X]E[Y]

を得る。E[X]=0E[X]=0 なら X=0X=0 a.s. なので、積も 0 a.s. である。したがって 0⋅∞=00\cdot\infty=0 の約束と整合する。

(ii) ∣X∣,∣Y∣\left\vert X\right\vert ,\left\vert Y\right\vert は独立である(第4章 §4.2 の「独立な確率変数の関数は独立」)。

(i) から E[∣XY∣]=E[∣X∣]E[∣Y∣]<∞E[\left\vert XY\right\vert ]=E[\left\vert X\right\vert ]E[\left\vert Y\right\vert ]<\infty である。正負の部分 X±X^\pm は XX だけの関数である。相手の側も同様である。よって X±X^\pm と Y±Y^\pm の組はどれも独立である。展開して (i) を4回使うと

E[XY]=E[(X+−X−)(Y+−Y−)]=E[X+]E[Y+]−E[X+]E[Y−]−E[X−]E[Y+]+E[X−]E[Y−]=E[X]E[Y]\begin{aligned}E[XY]&=E\bigl[(X^+-X^-)(Y^+-Y^-)\bigr]\\ &=E[X^+]E[Y^+]-E[X^+]E[Y^-]-E[X^-]E[Y^+]+E[X^-]E[Y^-]=E[X]E[Y]\end{aligned}

となる。

系 5.22

  1. (i) X,YX,Y が独立で、g(X),h(Y)g(X),h(Y) が可積分とする。このとき E[g(X)h(Y)]=E[g(X)]E[h(Y)]E[g(X)h(Y)]=E[g(X)]E[h(Y)]。
  2. (ii) X1,…,XnX_1,\dots,X_n が独立で可積分なら、E[X1⋯Xn]=E[X1]⋯E[Xn]E[X_1\cdots X_n]=E[X_1]\cdots E[X_n]。
  3. (iii) 独立で2乗可積分な確率変数は無相関である。とくに V[X1+⋯+Xn]=V[X1]+⋯+V[Xn]V[X_1+\cdots+X_n]=V[X_1]+\cdots+V[X_n]。
証明

(i) g(X)g(X) と h(Y)h(Y) は独立なので定理 5.21 を使う。

(ii) X1⋯Xn−1X_1\cdots X_{n-1} と XnX_n は、第4章 §4.2 のまとめ方の補題により独立である。番号についての帰納法で定理 5.21 を繰り返す。

(iii) (5.18) と定理 5.21 から、i≠ji\ne j なら Cov(Xi,Xj)=0\mathrm{Cov}(X_i,X_j)=0 である。よって (5.19) の交差項が消える。

無相関でも独立とは限らない

XX は {−1,0,1}\{-1,0,1\} の上の一様分布に従うとする。Y=X2Y=X^2 と置く。E[X]=0E[X]=0、E[XY]=E[X3]=0E[XY]=E[X^3]=0 なので、共分散は 0 である。

しかし P(X=0,Y=1)=0P(X=0,Y=1)=0 に対して P(X=0)P(Y=1)=13⋅23≠0P(X=0)P(Y=1)=\frac13\cdot\frac23\ne0 である。よって2つは独立でない。

  • 共分散は「直線的な関係」だけを測る。YY が XX の関数として完全に決まっていても、その関数が偶関数なら共分散は 0 になる。
  • 同時分布が多変量正規分布であるときに限り、無相関と独立は同値になる(第6章 §6.2)。

例題 5.4 ランダムな置換の不動点の個数 ★★★

オリジナルn≥2n\ge2 とする。1,2,…,n1,2,\dots,n の置換 σ\sigma を、すべての置換から等確率で選ぶ。不動点(σ(i)=i\sigma(i)=i となる点)の個数を NN とする。E[N]E[N] と V[N]V[N] を求めよ。

解答

Ai={σ(i)=i}A_i=\{\sigma(i)=i\} と置くと N=∑i=1n1AiN=\sum_{i=1}^n\mathbf 1_{A_i} である。σ(i)=i\sigma(i)=i を満たす置換は、残りの点の並べ方で (n−1)!(n-1)! 通りある。よって P(Ai)=1/nP(A_i)=1/n で、

E[N]=∑i=1nP(Ai)=n⋅1n=1E[N]=\sum_{i=1}^nP(A_i)=n\cdot\frac1n=1

である。AiA_i どうしは独立でないが、期待値の線形性は独立性を必要としない。

分散には E[N2]E[N^2] が要る。1Ai2=1Ai\mathbf 1_{A_i}^2=\mathbf 1_{A_i} なので

N2=∑i1Ai+∑i≠j1Ai∩AjN^2=\sum_i\mathbf 1_{A_i}+\sum_{i\ne j}\mathbf 1_{A_i\cap A_j}

である。i≠ji\ne j なら、この共通部分に入る置換は (n−2)!(n-2)! 通りある。よって P(Ai∩Aj)=1n(n−1)P(A_i\cap A_j)=\frac{1}{n(n-1)} である。相異なる番号の順序つきの組 (i,j)(i,j) は n(n−1)n(n-1) 個あるので

E[N2]=1+n(n−1)⋅1n(n−1)=2,V[N]=E[N2]−(E[N])2=1E[N^2]=1+n(n-1)\cdot\frac{1}{n(n-1)}=2,\qquad V[N]=E[N^2]-(E[N])^2=1

となる。nn によらず平均も分散も 1 である。

共分散で書くと、i≠ji\ne j で次のとおりである。

Cov(1Ai,1Aj)=1n(n−1)−1n2=1n2(n−1)>0\mathrm{Cov}(\mathbf 1_{A_i},\mathbf 1_{A_j})=\frac{1}{n(n-1)}-\frac1{n^2}=\frac{1}{n^2(n-1)}>0

(5.19) の交差項の和と対角の和は、

交差項の和=n(n−1)⋅1n2(n−1)=1n,対角の和=n⋅1n(1−1n)=1−1n\begin{aligned}\text{交差項の和}&=n(n-1)\cdot\frac{1}{n^2(n-1)}=\frac1n,\\ \text{対角の和}&=n\cdot\frac1n\Bigl(1-\frac1n\Bigr)=1-\frac1n\end{aligned}

であり、足すと 1 になる。

第1章 §1.4 の一致の問題では P(N≥1)→1−e−1P(N\ge1)\to1-\mathrm{e}^{-1} であった。これと合わせると、NN の分布は平均 1 の Poisson 分布に近いことがうかがえる(Poisson 分布の平均と分散はどちらも 1。第6章 §6.1)。

例題 5.5 標本平均と不偏分散 ★★★

オリジナルn≥2n\ge2 とし、X1,…,XnX_1,\dots,X_n は独立同分布とする。E[Xi]=μE[X_i]=\mu、V[Xi]=σ2<∞V[X_i]=\sigma^2<\infty とし、次のように置く。

Xˉ=1n∑i=1nXi,S2=1n−1∑i=1n(Xi−Xˉ)2\bar X=\frac1n\sum_{i=1}^nX_i,\qquad S^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar X)^2

  1. (1) E[Xˉ]=μ, V[Xˉ]=σ2/nE[\bar X]=\mu,\ V[\bar X]=\sigma^2/n を示せ。
  2. (2) E[S2]=σ2E[S^2]=\sigma^2 を示せ。
解答

(1) 線形性から E[Xˉ]=1n⋅nμ=μE[\bar X]=\frac1n\cdot n\mu=\mu である。系 5.22 (iii) と V[aX]=a2V[X]V[aX]=a^2V[X] から、V[Xˉ]=1n2⋅nσ2=σ2nV[\bar X]=\frac1{n^2}\cdot n\sigma^2=\frac{\sigma^2}{n} である。

(2) Yi=Xi−μY_i=X_i-\mu と置くと Yˉ=Xˉ−μ\bar Y=\bar X-\mu である。したがって Xi−Xˉ=Yi−YˉX_i-\bar X=Y_i-\bar Y である。∑iYi=nYˉ\sum_iY_i=n\bar Y を使って展開すると

∑i=1n(Yi−Yˉ)2=∑iYi2−2Yˉ∑iYi+nYˉ2=∑iYi2−nYˉ2\sum_{i=1}^n(Y_i-\bar Y)^2=\sum_iY_i^2-2\bar Y\sum_iY_i+n\bar Y^2=\sum_iY_i^2-n\bar Y^2

となる。E[Yi2]=σ2, E[Yˉ2]=V[Xˉ]=σ2/nE[Y_i^2]=\sigma^2,\ E[\bar Y^2]=V[\bar X]=\sigma^2/n なので

E[∑i=1n(Xi−Xˉ)2]=nσ2−n⋅σ2n=(n−1)σ2E\Bigl[\sum_{i=1}^n(X_i-\bar X)^2\Bigr]=n\sigma^2-n\cdot\frac{\sigma^2}{n}=(n-1)\sigma^2

で、E[S2]=σ2E[S^2]=\sigma^2 を得る。

n−1n-1 で割る理由は次のとおりである。μ\mu の代わりに Xˉ\bar X からのずれを測ると、ずれの2乗の和が平均して分散1個分だけ小さくなる。この計算で使ったのは独立性そのものではなく、XiX_i どうしが無相関であることだけである。

確認テスト

オリジナル

  1. 5.4-1 2乗可積分な XX と定数 a,ba,b をとる。定義 (5.16) から、V[aX+b]=a2V[X]V[aX+b]=a^2V[X] を1行で示せ。
  2. 5.4-2 X,YX,Y は値 0, 1 をとり、同時確率が次のとおりであるとする。

p(0,0)=0.4,p(0,1)=0.1,p(1,0)=0.2,p(1,1)=0.3p(0,0)=0.4,\quad p(0,1)=0.1,\quad p(1,0)=0.2,\quad p(1,1)=0.3

Cov(X,Y)\mathrm{Cov}(X,Y) と ρ(X,Y)\rho(X,Y) を求めよ。3. 5.4-3 3個の玉を3個の箱に独立に等確率で入れる。空の箱の個数を MM とする。指示関数の和に分けて、E[M]E[M] と V[M]V[M] を求めよ。4. 5.4-4 XX が区間 (−1,1)(-1,1) 上の一様分布に従うとする。XX と X2X^2 が無相関であるが独立でないことを示せ。

木下の勉強ステータス

木下はまだこの記事を勉強していません。

AI(Claude)が書いた教材を、木下が勉強しながら公開しています。式と数値は検算していますが、誤りが残っているかもしれません。誤りのご指摘・削除のご依頼をいただければ直します。 連絡先:support@tecktom.com

← AI生成教科書『基礎理論』の記事一覧へ