tecktom.com

独立和の分布と畳み込み

2026年10月15日16分で読めますAI生成教科書『基礎理論』第7章 変数変換と畳み込み
目次
  1. 分布の畳み込み
  2. 再生性:和が同じ族に戻る分布
  3. 再生性を持たない例:一様分布の和
  4. 確認テスト
  5. 木下の層

AI 生成・木下が未勉強

確率論入門 第7章 §7.3 ★★★ 独立和の分布は分布の畳み込み。片方に密度があれば和にも密度がある。再生性の直接の証明

分布の畳み込み

X,YX,Y が独立なとき、和の分布は2つの周辺分布だけで決まる。理由は2つある。

  • 独立なら、同時分布は PX⊗PYP_X\otimes P_Y である。
  • X+YX+Y の分布は、その同時分布を写像 s(x,y)=x+ys(x,y)=x+y で押し出したものである。

これを具体的な式にしたものが畳み込みである。

定義 7.8(畳み込み)

(R,B(R))(\mathbb{R},\mathcal B(\mathbb{R})) 上の確率測度 μ,ν\mu,\nu について

(μ∗ν)(B)=∫Rμ(B−y) ν(dy)(B∈B(R))(7.15)(\mu*\nu)(B)=\int_{\mathbb{R}}\mu(B-y)\,\nu(\mathrm{d} y)\qquad(B\in\mathcal B(\mathbb{R}))\tag{7.15}

で定まる確率測度 μ∗ν\mu*\nu を、2つの測度の畳み込みと呼ぶ。ここで B−y={x−y:x∈B}B-y=\{x-y:x\in B\} は BB の平行移動である。

定理 7.9(独立和の分布 ★★★)

X,YX,Y が独立なら PX+Y=PX∗PYP_{X+Y}=P_X*P_Y である。さらに次が成り立つ。

  1. (a) X,YX,Y が整数値なら、X+YX+Y の確率関数は

P(X+Y=k)=∑j∈ZP(X=j) P(Y=k−j)(k∈Z).(7.16)P(X+Y=k)=\sum_{j\in\mathbb{Z}}P(X=j)\,P(Y=k-j)\qquad(k\in\mathbb{Z}).\tag{7.16} 2. (b) XX が密度 ff を持てば、もう一方の分布によらず、和は密度

fX+Y(z)=∫Rf(z−y) PY(dy)=E[f(z−Y)](7.17)f_{X+Y}(z)=\int_{\mathbb{R}} f(z-y)\,P_Y(\mathrm{d} y)=E\bigl[f(z-Y)\bigr]\tag{7.17}

を持つ。YY も密度 gg を持てば

fX+Y(z)=(f∗g)(z):=∫Rf(z−y) g(y) dy=∫Rf(x) g(z−x) dx.(7.18)f_{X+Y}(z)=(f*g)(z):=\int_{\mathbb{R}} f(z-y)\,g(y)\,\mathrm{d} y=\int_{\mathbb{R}} f(x)\,g(z-x)\,\mathrm{d} x.\tag{7.18}

証明

s(x,y)=x+ys(x,y)=x+y は連続なので Borel 可測である。したがって次の集合は B(R2)\mathcal B(\mathbb{R}^2) の元である。

A=s−1(B)={(x,y):x+y∈B}A=s^{-1}(B)=\{(x,y):x+y\in B\}

第4章 §4.3 により P(X,Y)=PX⊗PYP_{(X,Y)}=P_X\otimes P_Y である。Tonelli の定理 (7.2) を ϕ=1A\phi=\mathbf 1_A に使って

P(X+Y∈B)=(PX⊗PY)(A)=∫R(∫R1B(x+y) PX(dx))PY(dy)=∫RPX(B−y) PY(dy).P(X+Y\in B)=(P_X\otimes P_Y)(A)=\int_{\mathbb{R}}\Bigl(\int_{\mathbb{R}}\mathbf 1_B(x+y)\,P_X(\mathrm{d} x)\Bigr)P_Y(\mathrm{d} y)=\int_{\mathbb{R}} P_X(B-y)\,P_Y(\mathrm{d} y).

内側の積分は x+y∈B  ⟺  x∈B−yx+y\in B\iff x\in B-y による。これで PX+Y=PX∗PYP_{X+Y}=P_X*P_Y である。

(a) B={k}B=\{k\} とすると PX({k}−y)=P(X=k−y)P_X(\{k\}-y)=P(X=k-y) である。PYP_Y は整数の上にしか質量を持たないから、外側の積分は和になる。

P(X+Y=k)=∑j′P(X=k−j′)P(Y=j′)P(X+Y=k)=\sum_{j'}P(X=k-j')P(Y=j')

j=k−j′j=k-j' と置き直せば (7.16) である。

(b) Lebesgue 測度の平行移動不変性(第2章)から

PX(B−y)=∫B−yf(x) dx=∫Bf(z−y) dzP_X(B-y)=\int_{B-y}f(x)\,\mathrm{d} x=\int_Bf(z-y)\,\mathrm{d} z

である。これを代入し、Tonelli の定理で積分の順序を入れ替えると

P(X+Y∈B)=∫R(∫Bf(z−y) dz)PY(dy)=∫B(∫Rf(z−y) PY(dy))dz.P(X+Y\in B)=\int_{\mathbb{R}}\Bigl(\int_Bf(z-y)\,\mathrm{d} z\Bigr)P_Y(\mathrm{d} y)=\int_B\Bigl(\int_{\mathbb{R}} f(z-y)\,P_Y(\mathrm{d} y)\Bigr)\mathrm{d} z.

内側の関数が X+YX+Y の密度 (7.17) である。E[f(z−Y)]E[f(z-Y)] との一致は変数変換公式(第5章 §5.3)による。PY(dy)=g(y) dyP_Y(\mathrm{d} y)=g(y)\,\mathrm{d} y なら (7.18) の1つ目の式になる。さらに x=z−yx=z-y と置換すれば2つ目の式になる。

畳み込みは交換法則と結合法則を満たす。

  • X+Y=Y+XX+Y=Y+X なので μ∗ν=ν∗μ\mu*\nu=\nu*\mu である。
  • (X+Y)+W=X+(Y+W)(X+Y)+W=X+(Y+W) なので (μ∗ν)∗ρ=μ∗(ν∗ρ)(\mu*\nu)*\rho=\mu*(\nu*\rho) である。

どちらも、独立な確率変数で実現して考えればよい。そうした確率変数の存在は第4章 §4.2 で示した。

したがって、独立な X1,…,XnX_1,\dots,X_n の和の分布は、括弧の付け方によらず PX1∗⋯∗PXnP_{X_1}*\cdots*P_{X_n} と書ける。同じ分布を nn 回畳み込んだものを μ∗n\mu^{*n} と書く。また μ∗0=δ0\mu^{*0}=\delta_0(0に集中した分布)と約束する。

畳み込みの読み方

  1. 離散の場合。(7.16) は、和が kk になる場合を、XX の値ごとに集めたものである。X=jX=j かつ Y=k−jY=k-j となる確率は、独立性から積になる。
  2. 連続の場合。(7.18) はその連続版で、和を積分に置き換えたものである。和の値を固定して積分変数を動かすと、g(z−x)g(z-x) は密度 gg を左右反転してずらしたものになる。それと ff が重なる部分の面積が、和の密度の値である。

「反転してずらし、掛けて積分する」というこの操作は、信号処理で線形システムの出力を入力とインパルス応答から求める操作と同じものである。

再生性:和が同じ族に戻る分布

独立な確率変数の和が、もとと同じ種類の分布に従うとき、その分布の族は再生性を持つという。Poisson・ガンマ・正規の再生性は第6章 §6.3 で畳み込みを直接計算して示したので、ここでは (7.16)・(7.18) の形で整理し直し、二項分布の場合を足す。第9章 §9.3 では特性関数を使って、同じ結果をはるかに短く示す。

命題 7.10(Poisson 分布と二項分布の再生性 ★★★)

X,YX,Y は独立とする。

  1. (a) X∼Po(λ)X\sim\mathrm{Po}(\lambda)、Y∼Po(μ)Y\sim\mathrm{Po}(\mu) なら、次が成り立つ。

X+Y∼Po(λ+μ)X+Y\sim\mathrm{Po}(\lambda+\mu) 2. (b) X∼Bin(m,p)X\sim\mathrm{Bin}(m,p)、Y∼Bin(n,p)Y\sim\mathrm{Bin}(n,p) なら(成功確率が共通)、次が成り立つ。

X+Y∼Bin(m+n,p)X+Y\sim\mathrm{Bin}(m+n,p)

証明

(a) は第6章 §6.3 で示した。(7.16) の和を 0≤j≤k0\le j\le k について書き下し、二項定理でまとめればよい。

(b) 0≤k≤m+n0\le k\le m+n について、q=1−pq=1-p と置くと

P(X+Y=k)=∑j(mj)pjqm−j(nk−j)pk−jqn−k+j=pkqm+n−k∑j(mj)(nk−j)=(m+nk)pkqm+n−k.P(X+Y=k)=\sum_j\binom mjp^jq^{m-j}\binom n{k-j}p^{k-j}q^{n-k+j}=p^kq^{m+n-k}\sum_j\binom mj\binom n{k-j}=\binom{m+n}kp^kq^{m+n-k}.

最後の等号は、次の Vandermonde の恒等式である。

∑j(mj)(nk−j)=(m+nk)\sum_j\binom mj\binom n{k-j}=\binom{m+n}k

これは、m+nm+n 個から kk 個選ぶ方法を、前半の組から何個選ぶかで分類したものである。

二項分布の再生性は、Bernoulli 試行の言葉では当たり前の事実である。Bin(m,p)\mathrm{Bin}(m,p) は mm 回の独立な試行の成功回数である。それに独立な nn 回の成功回数を足せば、合わせた回数の試行の成功回数になる。

命題 7.11(ガンマ分布の再生性 ★★★)

X∼Ga(α,λ)X\sim\mathrm{Ga}(\alpha,\lambda) と Y∼Ga(β,λ)Y\sim\mathrm{Ga}(\beta,\lambda) が独立なら、次が成り立つ。

X+Y∼Ga(α+β,λ)X+Y\sim\mathrm{Ga}(\alpha+\beta,\lambda)

とくに X1,…,XnX_1,\dots,X_n が独立で Ex(λ)\mathrm{Ex}(\lambda) に従うとする。このとき和は Ga(n,λ)\mathrm{Ga}(n,\lambda) に従う。その密度は

λnzn−1(n−1)!e−λz(z>0)(7.19)\frac{\lambda^nz^{n-1}}{(n-1)!}\mathrm{e}^{-\lambda z}\qquad(z>0)\tag{7.19}

である。

証明

前半は例題 7.3 (2) の U=X+YU=X+Y そのものである。畳み込み (7.18) による直接の計算は第6章 §6.3 で行った。後半は、Ex(λ)=Ga(1,λ)\mathrm{Ex}(\lambda)=\mathrm{Ga}(1,\lambda) と前半の帰納法から従う。最後に Γ(n)=(n−1)!\Gamma(n)=(n-1)! を使う。

nn が自然数のとき、Ga(n,λ)\mathrm{Ga}(n,\lambda) を Erlang 分布と呼ぶ。到着の間隔が独立な Ex(λ)\mathrm{Ex}(\lambda) に従うとき、nn 番目の到着の時刻がこの分布に従う。第14章 §14.3 の Poisson 過程の到着時刻はこの形をしている。

例題 7.5 正規分布の再生性を平方完成で示す ★★★

オリジナルX∼N(μ1,σ12)X\sim\mathrm N(\mu_1,\sigma_1^2) と Y∼N(μ2,σ22)Y\sim\mathrm N(\mu_2,\sigma_2^2) が独立であるとする。次を、畳み込みの積分 (7.18) を計算して示せ。

X+Y∼N(μ1+μ2, σ12+σ22)X+Y\sim\mathrm N(\mu_1+\mu_2,\ \sigma_1^2+\sigma_2^2)

(第6章 §6.3 の定理を、本章の式で導き直す練習である。)

解答

例 (7.7) から、X−μ1∼N(0,σ12)X-\mu_1\sim\mathrm N(0,\sigma_1^2) と Y−μ2∼N(0,σ22)Y-\mu_2\sim\mathrm N(0,\sigma_2^2) が成り立つ。X+YX+Y はその和を μ1+μ2\mu_1+\mu_2 だけずらしたものである。したがって、平均が両方0の場合を示せば十分である。s2=σ12+σ22s^2=\sigma_1^2+\sigma_2^2 と置く。(7.18) から

fX+Y(z)=∫R12πσ1σ2exp⁡(−x22σ12−(z−x)22σ22)dx.f_{X+Y}(z)=\int_{\mathbb{R}}\frac{1}{2\pi\sigma_1\sigma_2}\exp\Bigl(-\frac{x^2}{2\sigma_1^2}-\frac{(z-x)^2}{2\sigma_2^2}\Bigr)\mathrm{d} x.

指数の肩の符号を除いた部分を通分し、xx について平方完成する。

x22σ12+(z−x)22σ22=s2x2−2σ12zx+σ12z22σ12σ22=s22σ12σ22(x−σ12zs2)2+σ12z2−σ14z2/s22σ12σ22=s22σ12σ22(x−σ12zs2)2+z22s2.\begin{aligned}\frac{x^2}{2\sigma_1^2}+\frac{(z-x)^2}{2\sigma_2^2} &=\frac{s^2x^2-2\sigma_1^2zx+\sigma_1^2z^2}{2\sigma_1^2\sigma_2^2}\\ &=\frac{s^2}{2\sigma_1^2\sigma_2^2}\Bigl(x-\frac{\sigma_1^2z}{s^2}\Bigr)^2+\frac{\sigma_1^2z^2-\sigma_1^4z^2/s^2}{2\sigma_1^2\sigma_2^2}\\ &=\frac{s^2}{2\sigma_1^2\sigma_2^2}\Bigl(x-\frac{\sigma_1^2z}{s^2}\Bigr)^2+\frac{z^2}{2s^2}.\end{aligned}

最後の等号では σ12z2(1−σ12/s2)=σ12σ22z2/s2\sigma_1^2z^2(1-\sigma_1^2/s^2)=\sigma_1^2\sigma_2^2z^2/s^2 を使った。次のように置く。

τ2=σ12σ22s2,c=σ12zs2\tau^2=\frac{\sigma_1^2\sigma_2^2}{s^2},\qquad c=\frac{\sigma_1^2z}{s^2}

xx についての積分は、N(c,τ2)\mathrm N(c,\tau^2) の密度の正規化から

∫e−(x−c)2/(2τ2)dx=2π τ\int\mathrm{e}^{-(x-c)^2/(2\tau^2)}\mathrm{d} x=\sqrt{2\pi}\,\tau

である。したがって

fX+Y(z)=12πσ1σ2⋅2πσ1σ2s⋅e−z2/(2s2)=12π se−z2/(2s2)f_{X+Y}(z)=\frac{1}{2\pi\sigma_1\sigma_2}\cdot\sqrt{2\pi}\frac{\sigma_1\sigma_2}{s}\cdot\mathrm{e}^{-z^2/(2s^2)}=\frac{1}{\sqrt{2\pi}\,s}\mathrm{e}^{-z^2/(2s^2)}

となる。これは N(0,s2)\mathrm N(0,s^2) の密度である。平均と分散がそれぞれ足し算になる。分散が足し算になることは独立な確率変数一般で成り立つ(第5章 §5.4)が、和がまた正規分布になることは正規分布に特有の性質である。

再生性を持たない例:一様分布の和

一様分布の和は一様分布にならない。和の密度を順に計算すると、畳み込みのたびに滑らかさが1段ずつ増していく様子が見える。

例題 7.6 一様分布の和(Irwin–Hall 分布) ★★

オリジナルU1,U2,U3U_1,U_2,U_3 が独立で U(0,1)\mathrm U(0,1) に従うとする。S2=U1+U2S_2=U_1+U_2、S3=U1+U2+U3S_3=U_1+U_2+U_3 と置く。

  1. S2S_2 の密度 f2f_2 を求めよ。
  2. S3S_3 の密度 f3f_3 を求めよ。
  3. P(S3≤1)P(S_3\le1) と P(1≤S3≤2)P(1\le S_3\le2) を求めよ。
解答

U(0,1)\mathrm U(0,1) の密度を f1=1(0,1)f_1=\mathbf 1_{(0,1)} と書く。f1(z−t)=1  ⟺  z−1<t<zf_1(z-t)=1\iff z-1<t<z なので、(7.18) から

fk+1(z)=∫Rfk(t)f1(z−t) dt=∫z−1zfk(t) dtf_{k+1}(z)=\int_{\mathbb{R}} f_k(t)f_1(z-t)\,\mathrm{d} t=\int_{z-1}^zf_k(t)\,\mathrm{d} t

である。

(1) f2(z)=∫z−1z1(0,1)(t) dtf_2(z)=\int_{z-1}^z\mathbf 1_{(0,1)}(t)\,\mathrm{d} t は、区間 (z−1,z)(z-1,z) と単位区間の重なりの長さである。したがって

f2(z)={z(0≤z≤1),2−z(1<z≤2),0(それ以外).f_2(z)=\begin{cases}z&(0\le z\le1),\\2-z&(1<z\le2),\\0&(\text{それ以外}).\end{cases}

三角形の形をした密度である。

(2) f3(z)=∫z−1zf2(t) dtf_3(z)=\int_{z-1}^zf_2(t)\,\mathrm{d} t を、zz の場所で分けて計算する。

  • 0≤z≤10\le z\le1 では、積分区間のうち (0,z)(0,z) だけが寄与する。

f3(z)=∫0zt dt=z22f_3(z)=\int_0^zt\,\mathrm{d} t=\frac{z^2}{2}

  • 1<z≤21<z\le2 では、2つの部分が寄与する。

f3(z)=∫z−11t dt+∫1z(2−t) dt=1−(z−1)22+(2(z−1)−z2−12)=−2z2+6z−32.f_3(z)=\int_{z-1}^1t\,\mathrm{d} t+\int_1^z(2-t)\,\mathrm{d} t=\frac{1-(z-1)^2}{2}+\Bigl(2(z-1)-\frac{z^2-1}{2}\Bigr)=\frac{-2z^2+6z-3}{2}.

  • 2<z≤32<z\le3 では、次のようになる。

f3(z)=∫z−12(2−t) dt=(3−z)22f_3(z)=\int_{z-1}^2(2-t)\,\mathrm{d} t=\frac{(3-z)^2}{2}

  • それ以外では0である。

f3f_3 は z=1,2z=1,2 でも連続で、導関数も連続である。たとえば z=1z=1 では、左右とも値は1/2、傾きは1である。

(3) まず P(S3≤1)=∫01z22dz=16P(S_3\le1)=\int_0^1\frac{z^2}{2}\mathrm{d} z=\frac16 である。3−S33-S_3 も同じ分布に従うので、対称性から P(S3≥2)=16P(S_3\ge2)=\frac16 である。したがって

P(1≤S3≤2)=1−16−16=23P(1\le S_3\le2)=1-\frac16-\frac16=\frac23

である。P(S3≤1)=16P(S_3\le1)=\frac16 は、単位立方体のうち u1+u2+u3≤1u_1+u_2+u_3\le1 を満たす部分(四面体)の体積としても求められる。

図

図 7.3 一様分布 U(0,1)\mathrm U(0,1) の nn 個の独立和の密度 fnf_n(n=1,2,3n=1,2,3)。f1f_1 は不連続、f2f_2 は連続だが角があり、f3f_3 は導関数まで連続である。破線は f3f_3 と同じ平均 32\frac32・分散 14\frac14 を持つ正規分布の密度で、3個の和の段階ですでに近い。この近さを一般に述べるのが第13章の中心極限定理である。

畳み込みは滑らかにする

  • 一般に、ff が有界で gg が確率密度なら、畳み込みは連続である。根拠は次の評価と、L1L^1 での平行移動の連続性である。

∣f∗g(z)−f∗g(z′)∣≤∫∣g(z−x)−g(z′−x)∣f(x)dx\left\vert f*g(z)-f*g(z')\right\vert \le\int\left\vert g(z-x)-g(z'-x)\right\vert f(x)\mathrm{d} x

  • 定理 7.9 (b) により、片方が密度を持つだけで和は密度を持つ。YY が離散分布でも、和の密度は XX の密度をずらして重み付きで重ねたものになる。
  • 図 7.3 のように、畳み込みを重ねるたびに密度の形は正規分布に近づいていく。

確認テスト

オリジナル

  1. 7.3-1 a∈Ra\in\mathbb{R} と確率測度 μ\mu をとる。δa∗μ\delta_a*\mu が、μ\mu を平行移動した次の測度に等しいことを示せ。

B↦μ(B−a)B\mapsto\mu(B-a)

確率変数の言葉では何を言っているか。2. 7.3-2 0<p<10<p<1 とする。X,YX,Y が独立で、どちらも次の幾何分布に従うとする。

P(X=k)=(1−p)k−1p(k=1,2,… )P(X=k)=(1-p)^{k-1}p\qquad(k=1,2,\dots)

X+YX+Y の確率関数を求めよ。また X+Y=kX+Y=k と分かったとする。XX の条件付き分布が {1,…,k−1}\{1,\dots,k-1\} 上の一様分布になることを示せ。3. 7.3-3 X∼Ex(λ)X\sim\mathrm{Ex}(\lambda) と Y∼Ex(μ)Y\sim\mathrm{Ex}(\mu) が独立であるとする。ただし λ≠μ\lambda\ne\mu とする。X+YX+Y の密度を求めよ。さらに μ→λ\mu\to\lambda の極限が Ga(2,λ)\mathrm{Ga}(2,\lambda) の密度になることを確かめよ。4. 7.3-4 X,YX,Y が独立で、XX の分布が原子を持たないとする。すなわち、すべての xx で P(X=x)=0P(X=x)=0 である。このとき、X+YX+Y の分布も原子を持たないことを示せ。

木下の勉強ステータス

木下はまだこの記事を勉強していません。

AI(Claude)が書いた教材を、木下が勉強しながら公開しています。式と数値は検算していますが、誤りが残っているかもしれません。誤りのご指摘・削除のご依頼をいただければ直します。 連絡先:support@tecktom.com

← AI生成教科書『基礎理論』の記事一覧へ