確率論入門 第7章 §7.3 ★★★ 独立和の分布は分布の畳み込み。片方に密度があれば和にも密度がある。再生性の直接の証明
分布の畳み込み
X,Y が独立なとき、和の分布は2つの周辺分布だけで決まる。理由は2つある。
- 独立なら、同時分布は PX⊗PY である。
- X+Y の分布は、その同時分布を写像 s(x,y)=x+y で押し出したものである。
これを具体的な式にしたものが畳み込みである。
定義 7.8(畳み込み)
(R,B(R)) 上の確率測度 μ,ν について
(μ∗ν)(B)=∫Rμ(B−y)ν(dy)(B∈B(R))(7.15)
で定まる確率測度 μ∗ν を、2つの測度の畳み込みと呼ぶ。ここで B−y={x−y:x∈B} は B の平行移動である。
定理 7.9(独立和の分布 ★★★)
X,Y が独立なら PX+Y=PX∗PY である。さらに次が成り立つ。
- (a) X,Y が整数値なら、X+Y の確率関数は
P(X+Y=k)=j∈Z∑P(X=j)P(Y=k−j)(k∈Z).(7.16)
2. (b) X が密度 f を持てば、もう一方の分布によらず、和は密度
fX+Y(z)=∫Rf(z−y)PY(dy)=E[f(z−Y)](7.17)
を持つ。Y も密度 g を持てば
fX+Y(z)=(f∗g)(z):=∫Rf(z−y)g(y)dy=∫Rf(x)g(z−x)dx.(7.18)
証明
s(x,y)=x+y は連続なので Borel 可測である。したがって次の集合は B(R2) の元である。
A=s−1(B)={(x,y):x+y∈B}
第4章 §4.3 により P(X,Y)=PX⊗PY である。Tonelli の定理 (7.2) を ϕ=1A に使って
P(X+Y∈B)=(PX⊗PY)(A)=∫R(∫R1B(x+y)PX(dx))PY(dy)=∫RPX(B−y)PY(dy).
内側の積分は x+y∈B⟺x∈B−y による。これで PX+Y=PX∗PY である。
(a) B={k} とすると PX({k}−y)=P(X=k−y) である。PY は整数の上にしか質量を持たないから、外側の積分は和になる。
P(X+Y=k)=j′∑P(X=k−j′)P(Y=j′)
j=k−j′ と置き直せば (7.16) である。
(b) Lebesgue 測度の平行移動不変性(第2章)から
PX(B−y)=∫B−yf(x)dx=∫Bf(z−y)dz
である。これを代入し、Tonelli の定理で積分の順序を入れ替えると
P(X+Y∈B)=∫R(∫Bf(z−y)dz)PY(dy)=∫B(∫Rf(z−y)PY(dy))dz.
内側の関数が X+Y の密度 (7.17) である。E[f(z−Y)] との一致は変数変換公式(第5章 §5.3)による。PY(dy)=g(y)dy なら (7.18) の1つ目の式になる。さらに x=z−y と置換すれば2つ目の式になる。
畳み込みは交換法則と結合法則を満たす。
- X+Y=Y+X なので μ∗ν=ν∗μ である。
- (X+Y)+W=X+(Y+W) なので (μ∗ν)∗ρ=μ∗(ν∗ρ) である。
どちらも、独立な確率変数で実現して考えればよい。そうした確率変数の存在は第4章 §4.2 で示した。
したがって、独立な X1,…,Xn の和の分布は、括弧の付け方によらず PX1∗⋯∗PXn と書ける。同じ分布を n 回畳み込んだものを μ∗n と書く。また μ∗0=δ0(0に集中した分布)と約束する。
畳み込みの読み方
- 離散の場合。(7.16) は、和が k になる場合を、X の値ごとに集めたものである。X=j かつ Y=k−j となる確率は、独立性から積になる。
- 連続の場合。(7.18) はその連続版で、和を積分に置き換えたものである。和の値を固定して積分変数を動かすと、g(z−x) は密度 g を左右反転してずらしたものになる。それと f が重なる部分の面積が、和の密度の値である。
「反転してずらし、掛けて積分する」というこの操作は、信号処理で線形システムの出力を入力とインパルス応答から求める操作と同じものである。
再生性:和が同じ族に戻る分布
独立な確率変数の和が、もとと同じ種類の分布に従うとき、その分布の族は再生性を持つという。Poisson・ガンマ・正規の再生性は第6章 §6.3 で畳み込みを直接計算して示したので、ここでは (7.16)・(7.18) の形で整理し直し、二項分布の場合を足す。第9章 §9.3 では特性関数を使って、同じ結果をはるかに短く示す。
命題 7.10(Poisson 分布と二項分布の再生性 ★★★)
X,Y は独立とする。
- (a) X∼Po(λ)、Y∼Po(μ) なら、次が成り立つ。
X+Y∼Po(λ+μ)
2. (b) X∼Bin(m,p)、Y∼Bin(n,p) なら(成功確率が共通)、次が成り立つ。
X+Y∼Bin(m+n,p)
証明
(a) は第6章 §6.3 で示した。(7.16) の和を 0≤j≤k について書き下し、二項定理でまとめればよい。
(b) 0≤k≤m+n について、q=1−p と置くと
P(X+Y=k)=j∑(jm)pjqm−j(k−jn)pk−jqn−k+j=pkqm+n−kj∑(jm)(k−jn)=(km+n)pkqm+n−k.
最後の等号は、次の Vandermonde の恒等式である。
j∑(jm)(k−jn)=(km+n)
これは、m+n 個から k 個選ぶ方法を、前半の組から何個選ぶかで分類したものである。
二項分布の再生性は、Bernoulli 試行の言葉では当たり前の事実である。Bin(m,p) は m 回の独立な試行の成功回数である。それに独立な n 回の成功回数を足せば、合わせた回数の試行の成功回数になる。
命題 7.11(ガンマ分布の再生性 ★★★)
X∼Ga(α,λ) と Y∼Ga(β,λ) が独立なら、次が成り立つ。
X+Y∼Ga(α+β,λ)
とくに X1,…,Xn が独立で Ex(λ) に従うとする。このとき和は Ga(n,λ) に従う。その密度は
(n−1)!λnzn−1e−λz(z>0)(7.19)
である。
証明
前半は例題 7.3 (2) の U=X+Y そのものである。畳み込み (7.18) による直接の計算は第6章 §6.3 で行った。後半は、Ex(λ)=Ga(1,λ) と前半の帰納法から従う。最後に Γ(n)=(n−1)! を使う。
n が自然数のとき、Ga(n,λ) を Erlang 分布と呼ぶ。到着の間隔が独立な Ex(λ) に従うとき、n 番目の到着の時刻がこの分布に従う。第14章 §14.3 の Poisson 過程の到着時刻はこの形をしている。
例題 7.5 正規分布の再生性を平方完成で示す ★★★
オリジナルX∼N(μ1,σ12) と Y∼N(μ2,σ22) が独立であるとする。次を、畳み込みの積分 (7.18) を計算して示せ。
X+Y∼N(μ1+μ2, σ12+σ22)
(第6章 §6.3 の定理を、本章の式で導き直す練習である。)
解答
例 (7.7) から、X−μ1∼N(0,σ12) と Y−μ2∼N(0,σ22) が成り立つ。X+Y はその和を μ1+μ2 だけずらしたものである。したがって、平均が両方0の場合を示せば十分である。s2=σ12+σ22 と置く。(7.18) から
fX+Y(z)=∫R2πσ1σ21exp(−2σ12x2−2σ22(z−x)2)dx.
指数の肩の符号を除いた部分を通分し、x について平方完成する。
2σ12x2+2σ22(z−x)2=2σ12σ22s2x2−2σ12zx+σ12z2=2σ12σ22s2(x−s2σ12z)2+2σ12σ22σ12z2−σ14z2/s2=2σ12σ22s2(x−s2σ12z)2+2s2z2.
最後の等号では σ12z2(1−σ12/s2)=σ12σ22z2/s2 を使った。次のように置く。
τ2=s2σ12σ22,c=s2σ12z
x についての積分は、N(c,τ2) の密度の正規化から
∫e−(x−c)2/(2τ2)dx=2πτ
である。したがって
fX+Y(z)=2πσ1σ21⋅2πsσ1σ2⋅e−z2/(2s2)=2πs1e−z2/(2s2)
となる。これは N(0,s2) の密度である。平均と分散がそれぞれ足し算になる。分散が足し算になることは独立な確率変数一般で成り立つ(第5章 §5.4)が、和がまた正規分布になることは正規分布に特有の性質である。
再生性を持たない例:一様分布の和
一様分布の和は一様分布にならない。和の密度を順に計算すると、畳み込みのたびに滑らかさが1段ずつ増していく様子が見える。
例題 7.6 一様分布の和(Irwin–Hall 分布) ★★
オリジナルU1,U2,U3 が独立で U(0,1) に従うとする。S2=U1+U2、S3=U1+U2+U3 と置く。
- S2 の密度 f2 を求めよ。
- S3 の密度 f3 を求めよ。
- P(S3≤1) と P(1≤S3≤2) を求めよ。
解答
U(0,1) の密度を f1=1(0,1) と書く。f1(z−t)=1⟺z−1<t<z なので、(7.18) から
fk+1(z)=∫Rfk(t)f1(z−t)dt=∫z−1zfk(t)dt
である。
(1) f2(z)=∫z−1z1(0,1)(t)dt は、区間 (z−1,z) と単位区間の重なりの長さである。したがって
f2(z)=⎩⎨⎧z2−z0(0≤z≤1),(1<z≤2),(それ以外).
三角形の形をした密度である。
(2) f3(z)=∫z−1zf2(t)dt を、z の場所で分けて計算する。
- 0≤z≤1 では、積分区間のうち (0,z) だけが寄与する。
f3(z)=∫0ztdt=2z2
- 1<z≤2 では、2つの部分が寄与する。
f3(z)=∫z−11tdt+∫1z(2−t)dt=21−(z−1)2+(2(z−1)−2z2−1)=2−2z2+6z−3.
- 2<z≤3 では、次のようになる。
f3(z)=∫z−12(2−t)dt=2(3−z)2
f3 は z=1,2 でも連続で、導関数も連続である。たとえば z=1 では、左右とも値は1/2、傾きは1である。
(3) まず P(S3≤1)=∫012z2dz=61 である。3−S3 も同じ分布に従うので、対称性から P(S3≥2)=61 である。したがって
P(1≤S3≤2)=1−61−61=32
である。P(S3≤1)=61 は、単位立方体のうち u1+u2+u3≤1 を満たす部分(四面体)の体積としても求められる。

図 7.3 一様分布 U(0,1) の n 個の独立和の密度 fn(n=1,2,3)。f1 は不連続、f2 は連続だが角があり、f3 は導関数まで連続である。破線は f3 と同じ平均 23・分散 41 を持つ正規分布の密度で、3個の和の段階ですでに近い。この近さを一般に述べるのが第13章の中心極限定理である。
畳み込みは滑らかにする
- 一般に、f が有界で g が確率密度なら、畳み込みは連続である。根拠は次の評価と、L1 での平行移動の連続性である。
∣f∗g(z)−f∗g(z′)∣≤∫∣g(z−x)−g(z′−x)∣f(x)dx
- 定理 7.9 (b) により、片方が密度を持つだけで和は密度を持つ。Y が離散分布でも、和の密度は X の密度をずらして重み付きで重ねたものになる。
- 図 7.3 のように、畳み込みを重ねるたびに密度の形は正規分布に近づいていく。
確認テスト
オリジナル
- 7.3-1 a∈R と確率測度 μ をとる。δa∗μ が、μ を平行移動した次の測度に等しいことを示せ。
B↦μ(B−a)
確率変数の言葉では何を言っているか。2. 7.3-2 0<p<1 とする。X,Y が独立で、どちらも次の幾何分布に従うとする。
P(X=k)=(1−p)k−1p(k=1,2,…)
X+Y の確率関数を求めよ。また X+Y=k と分かったとする。X の条件付き分布が {1,…,k−1} 上の一様分布になることを示せ。3. 7.3-3 X∼Ex(λ) と Y∼Ex(μ) が独立であるとする。ただし λ=μ とする。X+Y の密度を求めよ。さらに μ→λ の極限が Ga(2,λ) の密度になることを確かめよ。4. 7.3-4 X,Y が独立で、X の分布が原子を持たないとする。すなわち、すべての x で P(X=x)=0 である。このとき、X+Y の分布も原子を持たないことを示せ。
AI(Claude)が書いた教材を、木下が勉強しながら公開しています。式と数値は検算していますが、誤りが残っているかもしれません。誤りのご指摘・削除のご依頼をいただければ直します。 連絡先:support@tecktom.com