確率論入門 第4章 §4.2 ★★★ 独立を積の等式で定め、生成元(π 系)で確かめれば十分であることを Dynkin の定理から示す
2つの事象の独立性
P(B)>0 とする。B が起きたと分かっても A の確率が変わらないとき、すなわち次が成り立つときを考える。
P(A∣B)=P(A)
このとき B は A について何の情報も持たないと考えてよい。定義 (4.3) を代入すると、この条件は P(A∩B)=P(A)P(B) と書ける。この積の形は2つの事象について対称で、しかも P(B)=0 の場合にも意味を持つ。そこでこちらを定義に採る。
定義 4.6(2つの事象の独立)
事象 A,B が
P(A∩B)=P(A)P(B)(4.7)
を満たすとき、A と B は独立であるという。
独立かどうかは事象の集合としての形でなく、確率測度 P によって決まることに注意する。同じ A,B でも、測度を取り替えれば独立でなくなることがある。
また「互いに素」と「独立」はまったく別の概念である。A∩B=∅ かつ P(A),P(B)>0 とすると、次のとおり積の等式が破れる。
P(A∩B)=0=P(A)P(B)
よって確率が正の、互いに素な2事象は独立になり得ない。一方が起きればもう一方は起きないと分かるのだから、片方の結果が他方の情報を持っているからである。
2つの事象 A,B が独立なら、片方を補集合に替えた組 (A,Bc) も独立である。実際、A=(A∩B)∪(A∩Bc) と分けて
P(A∩Bc)=P(A)−P(A∩B)=P(A)−P(A)P(B)=P(A)(1−P(B))=P(A)P(Bc)
となる。同じ計算を繰り返すと、次の2組も独立になる。
(Ac, B),(Ac, Bc).
3つ以上の事象の独立性
3つ以上の事象について、どの2つも独立であることを要求するだけでは足りない。次の例がその理由を示す。
対ごとに独立だが全体としては独立でない
公正な硬貨を2回投げる。Ω={HH,HT,TH,TT} の各点の確率は 1/4 である。次の3つの事象を置く。
A={1回目が表},B={2回目が表},C={2回の結果が同じ}.
確率はどれも 1/2 で、
P(A∩B)=P({HH})=41,P(A∩C)=P({HH})=41,P(B∩C)=P({HH})=41
だから、どの2つも独立である。ところが
P(A∩B∩C)=P({HH})=41=81=P(A)P(B)P(C)
である。最初の2つが両方起きたと分かれば、C は確実に起きる。つまり最初の2つの組は、3つ目について完全な情報を持っている。
そこで、どの部分族についても積の等式が成り立つことを要求する。
定義 4.7(事象の族の独立)
事象 A1,…,An が独立であるとは、2個以上の添字からなる任意の部分集合 I⊂{1,…,n} について
P(i∈I⋂Ai)=i∈I∏P(Ai)(4.8)
が成り立つことをいう。無限個の事象の族 {Aλ}λ∈Λ が独立であるとは、その任意の有限部分族が独立であることをいう。
n 個の事象では、確かめるべき等式は 2n−n−1 本ある(2個以上の部分集合の数)。上の例は、2個の部分集合についての等式だけでは3個の部分集合の等式が出ないことを示している。逆に、n 個全体の等式 P(A1∩⋯∩An)=∏P(Ai) だけでは部分族の等式が出ないこともある(確認テスト 4.2-5)。区別が要るときは、定義 4.7 の独立を相互独立、どの2つも独立であることを対ごとに独立と呼ぶ。
集合族と σ 加法族の独立性
確率変数の独立性を定めるには、事象1つずつでなく、事象の集まり全体の独立性が要る。確率変数 X について分かることは「X∈B が起きたかどうか」の全体、すなわち生成される σ加法族に属する事象の全体だからである。
定義 4.8(集合族の独立)
C1,…,Cn⊂F を集合族とする。各族から1つずつ事象 Ai∈Ci を選ぶ。どう選んでも事象 A1,…,An が定義 4.7 の意味で独立であるとき、これらの集合族は独立であるという。無限個の族については、任意の有限部分族が独立であることと定める。
各 Ci が全体 Ω を含む場合を考える。部分集合 I についての等式は、n 個全体の等式の特別な場合になる。I に入らない添字で Ai=Ω を選べばよいからである。したがってこの場合は
P(A1∩⋯∩An)=P(A1)⋯P(An)(Ai∈Ci)(4.9)
だけを確かめればよい。σ加法族は全体を含むので、σ加法族の独立はいつも (4.9) の形で確かめられる。
定義 4.9(確率変数の独立)
確率変数 X1,…,Xn が独立であるとは、σ加法族 σ(X1),…,σ(Xn) が独立であることをいう。すなわち任意の B1,…,Bn∈B(R) について
P(X1∈B1,…,Xn∈Bn)=P(X1∈B1)⋯P(Xn∈Bn)(4.10)
が成り立つことをいう。確率変数の列 X1,X2,… が独立であるとは、任意の有限個が独立であることをいう。独立で、しかも分布がすべて等しい列を独立同分布(i.i.d.)の列と呼ぶ。
ここで P(X1∈B1,…,Xn∈Bn) は P({X1∈B1}∩⋯∩{Xn∈Bn}) の略記である。(4.10) はすべての Borel 集合の組について要求しているので、そのままでは確かめようがない。次の定理により、生成元の上で確かめれば十分になる。
定理 4.10(π系で確かめれば十分 ★★★)
P1,…,Pn⊂F はどれも π系で Ω を含むとする。任意の Ai∈Pi について
P(A1∩⋯∩An)=P(A1)⋯P(An)
が成り立つなら、σ(P1),…,σ(Pn) は独立である。
証明
まず1番目の族だけを σ(P1) に広げる。A2∈P2,…,An∈Pn を固定し、C=A2∩⋯∩An と置いて
L={A∈F: P(A∩C)=P(A)P(A2)⋯P(An)}
とする。仮定から P1⊂L である。L が λ系であることを3つの条件に分けて確かめる。
- Ω∈P1⊂L である。とくに P(C)=P(A2)⋯P(An) が成り立つ。
- A∈L なら、C=(A∩C)∪(Ac∩C) と分けて
P(Ac∩C)=P(C)−P(A∩C)=P(A2)⋯P(An)−P(A)P(A2)⋯P(An)=P(Ac)P(A2)⋯P(An)
となるので Ac∈L である。
- B1,B2,⋯∈L が互いに素なら、Bk∩C も互いに素だから、σ加法性により
P((⋃kBk)∩C)=∑kP(Bk∩C)=∑kP(Bk)P(A2)⋯P(An)=P(⋃kBk)P(A2)⋯P(An)
となり、⋃kBk∈L である。
Dynkin の定理 (4.2) から σ(P1)⊂L である。A2,…,An は任意だったから、次の族の組も定理の仮定を満たす(どれも全体を含む π系で、積の等式が成り立つ)。
σ(P1), P2, …, Pn
次に2番目の族について同じ議論を行うと、P2 を σ(P2) に広げられる。
これを n 回繰り返せば、任意の Ai∈σ(Pi) について積の等式が成り立つ。生成された族はどれも全体を含むので、(4.9) の後の注意により、これが独立性である。
系 4.11(補集合をとっても独立)
事象 A1,…,An が独立なら、次の n 個の σ加法族は独立である。
{∅,Ai,Aic,Ω}(i=1,…,n)
とくに、各 Ai をその補集合 Aic に取り替えた族も独立である。
証明
Pi={Ai,Ω} は全体を含む π系で、生成する σ加法族は {∅,Ai,Aic,Ω} である。各 Pi から元を選ぶことは、部分集合 I に入る添字でその事象を、入らない添字で全体を選ぶことに当たる。よって定理 4.10 の仮定は、定義 4.7 そのものである。
系 4.12(分布関数による独立の判定 ★★★)
確率変数 X1,…,Xn が独立であるための必要十分条件は、任意の x1,…,xn∈R について
P(X1≤x1,…,Xn≤xn)=FX1(x1)⋯FXn(xn)(4.11)
が成り立つことである。
証明
必要性は (4.10) で Bi=(−∞,xi] とすればよい。
十分性を示す。次の集合族を置く。
Pi={{Xi≤x}:x∈R}∪{Ω}
{Xi≤x}∩{Xi≤y}={Xi≤min(x,y)} なので、Pi は全体を含む π系である。全体を選んだ添字については、極限 xi→∞ で {Xi≤xi}↑Ω となる。これと連続性 (4.1) を使えば、(4.11) から積の等式が出る。よって定理 4.10 から、生成された σ加法族 σ(P1),…,σ(Pn) は独立である。
あとは σ(Pi)=σ(Xi) を示せばよい。包含 σ(Pi)⊂σ(Xi) は明らかである。逆向きには、次の集合族を考える。
G={B∈B(R):Xi−1(B)∈σ(Pi)}
逆像が補集合と可算和を保つので、G は σ加法族であり、すべての半直線を含む。したがって G⊃σ({(−∞,x]})=B(R) となり、σ(Xi)⊂σ(Pi) が従う。
離散的な確率変数、すなわち可算集合 Si に値をとる Xi を考える。このときは次の集合族が π系になる(値の異なる事象は互いに素で、共通部分は空集合)。
Pi={{Xi=x}:x∈Si}∪{∅,Ω}
空集合を含む積の等式は、両辺が 0 で自明に成り立つ。全体を含む場合は、その添字の値について和をとれば出る。したがって、X1,…,Xn が独立であるための必要十分条件は
P(X1=x1,…,Xn=xn)=P(X1=x1)⋯P(Xn=xn)(xi∈Si)(4.12)
である。
まとめ方の補題と関数の独立性
独立な確率変数を、互いに重ならない組に分けて関数をとると、組ごとに得た量はやはり独立になる。直観的には当然だが、§4.4 で硬貨投げをブロックに分けるときなどに、この形で何度も使う。
定理 4.13(まとめ方の補題)
σ加法族 F1,F2,… が独立で、添字の集合 I1,I2,… が互いに素であるとする。このとき次の σ加法族は独立である。
Gk=σ(i∈Ik⋃Fi)(k=1,2,…)
証明
有限個の G1,…,Gm について示せば十分である。Ik の有限個の添字 i1,…,ir を選ぶ。各添字の族から1つずつ事象 Aij∈Fij を選び、次の共通部分を作る。
Ai1∩⋯∩Air
その全体を Pk とする。
このような共通部分2つの共通部分は、同じ添字の事象どうしをまとめれば、また同じ形になる(各 Fi は共通部分で閉じている)。よって Pk は全体を含む π系で、σ(Pk)=Gk である。
各 k で Dk∈Pk を選ぶ。共通部分 D1∩⋯∩Dm は、互いに異なる添字の有限個の事象の共通部分になる。族 Fi の独立性から、その確率は各事象の確率の積に等しい。添字を Ik ごとにまとめ直すと、それは P(D1)⋯P(Dm) に等しい。
定理 4.10 から、G1,…,Gm は独立である。
系 4.14(独立な確率変数の関数)
X1,…,Xn を独立な確率変数とする。
- (i) Borel 可測な関数 f1,…,fn:R→R について、f1(X1),…,fn(Xn) は独立である。
- (ii) 番号 m を 1≤m<n にとる。2つの Borel 可測な関数 g:Rm→R と h:Rn−m→R をとる。次の2つは独立である。
g(X1,…,Xm),h(Xm+1,…,Xn).
証明
(i) は包含 σ(fi(Xi))⊂σ(Xi) から従う。事象 fi(Xi)∈B は Xi∈fi−1(B) と同じで、この逆像は Borel 集合だからである。独立な σ加法族の部分 σ加法族は、やはり独立である。
(ii) は2つの事実から従う。1つは、g(X1,…,Xm) が次の σ加法族に関して可測であることである(§4.3 の補題 4.16 で確かめる)。
σ(σ(X1)∪⋯∪σ(Xm))
もう1つは定理 4.13 である。

図 4.2 [0,1) 上の2進展開の桁。{d1=1} は長さ 1/2、{d2=1} は長さ 1/4 の区間2つで計 1/2、共通部分は長さ 1/4 の区間1つである。長さ(Lebesgue 測度)が積 21⋅21 に一致するので、2つの桁は独立である。
例題 4.3 2進展開の桁は独立な硬貨投げ ★★★
オリジナル確率空間を次のようにとる。
Ω=[0,1),F=B([0,1)),P=Lebesgue 測度(区間の長さ).
各点の2進展開で、第 k 桁 dk(0 か 1)を定める。
ω=k≥1∑dk(ω)2−k
有限桁で終わる展開がある点ではその展開を採り、1 が無限に続く展開は採らない。
- a1,…,an∈{0,1} をとる。事象 {d1=a1,…,dn=an} が長さ 2−n の区間であることを示せ。
- d1,d2,… が独立同分布の確率変数であることを示せ。また、どの桁も P(dk=0)=P(dk=1)=1/2 を満たすことを示せ。
- Y=d1+d2 と Z=d3 が独立であることを示せ。また P(Y=1,Z=1) を求めよ。
解答
(1) m=∑k=1nak2n−k と置く(0≤m≤2n−1 の整数)。次の3つの条件は同値である。
- 最初の n 桁が a1,…,an である。
- 2nω の整数部分が m である。
- ω∈[m2−n,(m+1)2−n) である。
実際、次の等式が成り立つ。末尾の和は、1 が無限に続く展開を除いたので [0,1) に入る。
2nω=m+k>n∑dk2n−k
よって {d1=a1,…,dn=an}=[m2−n,(m+1)2−n) で、その長さは 2−n である。とくに桁の値で決まる事象は区間の有限和なので Borel 集合であり、各 dk は確率変数である。
(2) まず分布を求める。事象 {dk=a} は、最初の k 桁のうち最後の桁だけを固定した事象である。それは (1) の区間の互いに素な和で、区間の数は第1〜k−1 桁の選び方の 2k−1 個である。よって
P(dk=a)=2k−1⋅2−k=21.
次に独立性を示す。離散的な確率変数の判定 (4.12) により、任意の n と a1,…,an について次を示せばよい。
P(d1=a1,…,dn=an)=k∏P(dk=ak)
左辺は (1) から 2−n、右辺は (1/2)n=2−n で一致する。飛び飛びの添字 k1,…,kr の有限個を選んだ場合も、n=maxkj までの残りの桁について和をとれば同じ等式が出る。よって任意の有限個が独立で、列 d1,d2,… は独立同分布である。
(3) Y は第1・第2桁の関数、Z は第3桁の関数である。添字の組 {1,2} と {3} は重ならないので、系 4.14 から2つは独立である。周辺の確率は次のとおりである。
P(Y=1)P(Z=1)=P(d1=1,d2=0)+P(d1=0,d2=1)=41+41=21,=21.
よって
P(Y=1,Z=1)=P(Y=1)P(Z=1)=41.
直接の計算でも確かめておく。事象 {Y=1,Z=1} は、最初の3桁が 101 または 011 の事象である。(1) から長さ 1/8 の区間2つで、合計 1/4 となり一致する。
独立同分布の列は存在する
§4.4 では「独立同分布の列 X1,X2,… をとる」と書くが、その存在は自明でない。例題 4.3 の桁を使うと、次の筋で存在が示せる。
- 桁の列を、互いに重ならない無限個の部分列に分ける。たとえば第 j 部分列を、次の添字の桁とする。
2j−1(2l−1)(l=1,2,…)
2. 第 j 部分列を2進展開の桁に並べて、次の数を置く。
Uj=l∑d2j−1(2l−1)2−l
その桁は独立な公正な硬貨投げなので、Uj は [0,1) 上の一様分布に従う。まとめ方の補題(定理 4.13)から U1,U2,… は独立である。3. 第3章 §3.5 の逆変換法を使う。分布関数 F の一般化逆関数で Xj=F−1(Uj) と置けば、この分布の独立同分布の列が得られる。
したがって、区間 [0,1) 上の Lebesgue 測度という1つの確率空間の上に、任意の分布の独立同分布の列を作ることができる。分布が j ごとに異なってもよい。
確認テスト
オリジナル
- 4.2-1 確率が 0 または 1 の事象 A は、任意の事象 B と独立であることを示せ。
- 4.2-2 公正なサイコロを1回振る。次の3つの事象を置く。
A={2,4,6},B={1,2,3,4},C={1,2,3}.
組 (A,B) と組 (A,C) のそれぞれが独立かどうかを判定せよ。3. 4.2-3 1から4の目が等確率で出る正四面体のサイコロを1回振る。次の3つの事象を置く。
A={1,2},B={1,3},C={1,4}.
A,B,C が対ごとに独立であること、および相互独立でないことを示せ。4. 4.2-4 事象 A が自分自身と独立なら、P(A)∈{0,1} であることを示せ。5. 4.2-5 Ω={1,2,…,8} の各点の確率を 1/8 とし、次の3つの事象を置く。
A=B={1,2,3,4},C={1,5,6,7}.
P(A∩B∩C)=P(A)P(B)P(C) が成り立つが、A,B,C は独立でないことを示せ。
AI(Claude)が書いた教材を、木下が勉強しながら公開しています。式と数値は検算していますが、誤りが残っているかもしれません。誤りのご指摘・削除のご依頼をいただければ直します。 連絡先:support@tecktom.com