確率論入門 第5章 §5.4 ★★★ ばらつきを測る量(分散・共分散・相関係数)を定め、独立なら E[XY]=E[X]E[Y] を4段階の構成で示す
2乗可積分と分散
期待値は分布の中心の位置を表す1つの数である。分布が中心のまわりにどれだけ広がっているかを表すため、中心からのずれの2乗の平均を考える。
そのためには E[X2]<∞ が要る。これを満たす X を2乗可積分と呼ぶ。次の3つの不等式から、2乗可積分な確率変数の基本的な性質が出る。
- ∣x∣≤1+x2 なので、2乗可積分なら可積分である。
- (x+y)2≤2x2+2y2 なので、2乗可積分な確率変数の和はまた2乗可積分である。
- ∣xy∣≤21(x2+y2) なので、2乗可積分な X,Y の積は可積分である。
定義 5.19(分散・共分散・相関係数)
X,Y を2乗可積分とする。
V[X]:=E[(X−E[X])2],Cov(X,Y):=E[(X−E[X])(Y−E[Y])](5.16)
の左を X の分散、右を X,Y の共分散と呼ぶ。V[X] を標準偏差と呼ぶ。V[X]>0, V[Y]>0 のとき、次の量を相関係数と呼ぶ。
ρ(X,Y):=V[X]V[Y]Cov(X,Y)
Cov(X,Y)=0 のとき、X,Y は無相関であるという。
μ=E[X]、ν=E[Y] と置く。期待値の線形性(定理 5.7)から、次の公式が出る。
V[X]Cov(X,Y)V[aX+b]=E[X2]−2μE[X]+μ2=E[X2]−(E[X])2,=E[XY]−μE[Y]−νE[X]+μν=E[XY]−E[X]E[Y],=E[(aX+b−aμ−b)2]=a2V[X].(5.17)(5.18)
共分散は双線形で(各引数について線形)、Cov(X,X)=V[X] である。したがって和の分散は
V[i=1∑nXi]=i=1∑nj=1∑nCov(Xi,Xj)=i=1∑nV[Xi]+2i<j∑Cov(Xi,Xj)(5.19)
となる。V[X]=0 なら、命題 5.8 (i) を (X−μ)2 に使う。これにより X=μ a.s. である。
命題 5.20(Cauchy–Schwarz の不等式と相関係数の範囲)
2乗可積分な X,Y について、次が成り立つ。
(E[XY])2≤E[X2]E[Y2]
とくに ∣Cov(X,Y)∣≤V[X]V[Y] で、−1≤ρ(X,Y)≤1 である。相関係数の絶対値が 1 になるのは、ある定数 a=0, b で Y=aX+b a.s. となるときに限る。
証明
E[Y2]=0 なら Y=0 a.s. である。命題 5.8 (iii) から E[XY]=0 なので成り立つ。E[Y2]>0 とすると、任意の実数 t について
0≤E[(X−tY)2]=E[X2]−2tE[XY]+t2E[Y2]
である。t=E[XY]/E[Y2] を代入すると、
0≤E[X2]−E[Y2](E[XY])2
となり、不等式を得る。X′=X−E[X]、Y′=Y−E[Y] に使えば、共分散の不等式になる。等号は、上の値で E[(X′−tY′)2]=0 のとき、すなわち X′=tY′ a.s. のときに限る。
Cauchy–Schwarz の不等式とその一般化(Hölder の不等式)は第10章 §10.2 で改めて扱う。
独立な確率変数の積の期待値
定理 5.21(独立なら積の期待値は期待値の積 ★★★)
X,Y が独立とする。
- (i) X,Y≥0 なら E[XY]=E[X]E[Y]。値は無限大も許し、0⋅∞=0 と約束する。
- (ii) X,Y が可積分なら、積も可積分で E[XY]=E[X]E[Y]。
証明
(i) まず単関数の場合を考える。次の形の2つの単関数をとる。
s=i∑ai1Ai(Ai∈σ(X)),t=j∑bj1Bj(Bj∈σ(Y))
σ(X) と σ(Y) の独立性から
E[st]=i,j∑aibjP(Ai∩Bj)=i,j∑aibjP(Ai)P(Bj)=E[s]E[t]
である。1つ目の等号は、st=∑i,jaibj1Ai∩Bj と補題 5.2 による。
次に標準近似列 sn=ϕn(X)、tn=ϕn(Y) をとる。{sn=c}={X∈ϕn−1(c)}∈σ(X) である。よって sn は σ(X) の事象の指示関数で書ける。
tn も同様である。よって E[sntn]=E[sn]E[tn] である。
sn,tn は非負の増加列なので、積も非負の増加列で sntn↑XY である。単調収束定理を3回使って
E[XY]=limE[sntn]=limE[sn]limE[tn]=E[X]E[Y]
を得る。E[X]=0 なら X=0 a.s. なので、積も 0 a.s. である。したがって 0⋅∞=0 の約束と整合する。
(ii) ∣X∣,∣Y∣ は独立である(第4章 §4.2 の「独立な確率変数の関数は独立」)。
(i) から E[∣XY∣]=E[∣X∣]E[∣Y∣]<∞ である。正負の部分 X± は X だけの関数である。相手の側も同様である。よって X± と Y± の組はどれも独立である。展開して (i) を4回使うと
E[XY]=E[(X+−X−)(Y+−Y−)]=E[X+]E[Y+]−E[X+]E[Y−]−E[X−]E[Y+]+E[X−]E[Y−]=E[X]E[Y]
となる。
系 5.22
- (i) X,Y が独立で、g(X),h(Y) が可積分とする。このとき E[g(X)h(Y)]=E[g(X)]E[h(Y)]。
- (ii) X1,…,Xn が独立で可積分なら、E[X1⋯Xn]=E[X1]⋯E[Xn]。
- (iii) 独立で2乗可積分な確率変数は無相関である。とくに V[X1+⋯+Xn]=V[X1]+⋯+V[Xn]。
証明
(i) g(X) と h(Y) は独立なので定理 5.21 を使う。
(ii) X1⋯Xn−1 と Xn は、第4章 §4.2 のまとめ方の補題により独立である。番号についての帰納法で定理 5.21 を繰り返す。
(iii) (5.18) と定理 5.21 から、i=j なら Cov(Xi,Xj)=0 である。よって (5.19) の交差項が消える。
無相関でも独立とは限らない
X は {−1,0,1} の上の一様分布に従うとする。Y=X2 と置く。E[X]=0、E[XY]=E[X3]=0 なので、共分散は 0 である。
しかし P(X=0,Y=1)=0 に対して P(X=0)P(Y=1)=31⋅32=0 である。よって2つは独立でない。
- 共分散は「直線的な関係」だけを測る。Y が X の関数として完全に決まっていても、その関数が偶関数なら共分散は 0 になる。
- 同時分布が多変量正規分布であるときに限り、無相関と独立は同値になる(第6章 §6.2)。
例題 5.4 ランダムな置換の不動点の個数 ★★★
オリジナルn≥2 とする。1,2,…,n の置換 σ を、すべての置換から等確率で選ぶ。不動点(σ(i)=i となる点)の個数を N とする。E[N] と V[N] を求めよ。
解答
Ai={σ(i)=i} と置くと N=∑i=1n1Ai である。σ(i)=i を満たす置換は、残りの点の並べ方で (n−1)! 通りある。よって P(Ai)=1/n で、
E[N]=i=1∑nP(Ai)=n⋅n1=1
である。Ai どうしは独立でないが、期待値の線形性は独立性を必要としない。
分散には E[N2] が要る。1Ai2=1Ai なので
N2=i∑1Ai+i=j∑1Ai∩Aj
である。i=j なら、この共通部分に入る置換は (n−2)! 通りある。よって P(Ai∩Aj)=n(n−1)1 である。相異なる番号の順序つきの組 (i,j) は n(n−1) 個あるので
E[N2]=1+n(n−1)⋅n(n−1)1=2,V[N]=E[N2]−(E[N])2=1
となる。n によらず平均も分散も 1 である。
共分散で書くと、i=j で次のとおりである。
Cov(1Ai,1Aj)=n(n−1)1−n21=n2(n−1)1>0
(5.19) の交差項の和と対角の和は、
交差項の和対角の和=n(n−1)⋅n2(n−1)1=n1,=n⋅n1(1−n1)=1−n1
であり、足すと 1 になる。
第1章 §1.4 の一致の問題では P(N≥1)→1−e−1 であった。これと合わせると、N の分布は平均 1 の Poisson 分布に近いことがうかがえる(Poisson 分布の平均と分散はどちらも 1。第6章 §6.1)。
例題 5.5 標本平均と不偏分散 ★★★
オリジナルn≥2 とし、X1,…,Xn は独立同分布とする。E[Xi]=μ、V[Xi]=σ2<∞ とし、次のように置く。
Xˉ=n1i=1∑nXi,S2=n−11i=1∑n(Xi−Xˉ)2
- (1) E[Xˉ]=μ, V[Xˉ]=σ2/n を示せ。
- (2) E[S2]=σ2 を示せ。
解答
(1) 線形性から E[Xˉ]=n1⋅nμ=μ である。系 5.22 (iii) と V[aX]=a2V[X] から、V[Xˉ]=n21⋅nσ2=nσ2 である。
(2) Yi=Xi−μ と置くと Yˉ=Xˉ−μ である。したがって Xi−Xˉ=Yi−Yˉ である。∑iYi=nYˉ を使って展開すると
i=1∑n(Yi−Yˉ)2=i∑Yi2−2Yˉi∑Yi+nYˉ2=i∑Yi2−nYˉ2
となる。E[Yi2]=σ2, E[Yˉ2]=V[Xˉ]=σ2/n なので
E[i=1∑n(Xi−Xˉ)2]=nσ2−n⋅nσ2=(n−1)σ2
で、E[S2]=σ2 を得る。
n−1 で割る理由は次のとおりである。μ の代わりに Xˉ からのずれを測ると、ずれの2乗の和が平均して分散1個分だけ小さくなる。この計算で使ったのは独立性そのものではなく、Xi どうしが無相関であることだけである。
確認テスト
オリジナル
- 5.4-1 2乗可積分な X と定数 a,b をとる。定義 (5.16) から、V[aX+b]=a2V[X] を1行で示せ。
- 5.4-2 X,Y は値 0, 1 をとり、同時確率が次のとおりであるとする。
p(0,0)=0.4,p(0,1)=0.1,p(1,0)=0.2,p(1,1)=0.3
Cov(X,Y) と ρ(X,Y) を求めよ。3. 5.4-3 3個の玉を3個の箱に独立に等確率で入れる。空の箱の個数を M とする。指示関数の和に分けて、E[M] と V[M] を求めよ。4. 5.4-4 X が区間 (−1,1) 上の一様分布に従うとする。X と X2 が無相関であるが独立でないことを示せ。
AI(Claude)が書いた教材を、木下が勉強しながら公開しています。式と数値は検算していますが、誤りが残っているかもしれません。誤りのご指摘・削除のご依頼をいただければ直します。 連絡先:support@tecktom.com