数理統計 第3章 §3.2 ★★★ 指数 → ガンマ → カイ二乗、ガンマ → ベータの関係は、第5章以降の標本分布の導出すべての土台になる
一様分布と確率積分変換
区間 (a,b) 上で密度が一定値 1/(b−a) の分布を一様分布と呼ぶ。これを U(a,b) と書く。
E[X]=∫abb−axdx=2a+b,E[X2]=3(b−a)b3−a3=3a2+ab+b2,
したがって
V[X]=3a2+ab+b2−4(a+b)2=12(b−a)2
である。
定理 3.9(確率積分変換 ★★)
(1) X の分布関数を F とする。F が連続なら、F(X)∼U(0,1) である。(2) U∼U(0,1) とし、分布関数 F に対して
F−1(u)=inf{x:F(x)≥u}
と定める。このとき F−1(U) の分布関数は F である。
証明
(2) から示す。F は右連続で単調非減少なので、F−1(u)≤x⟺u≤F(x) が成り立つ。よって P(F−1(U)≤x)=P(U≤F(x))=F(x)。
(1) は F が狭義単調増加の場合に示す。0<u<1 に対し F(X)≤u⟺X≤F−1(u) なので
P(F(X)≤u)=F(F−1(u))=u
で、これは U(0,1) の分布関数である。(F に平らな区間があっても、その区間に X が入る確率は 0 なので結論は変わらない。)
この定理の2つの主張は、それぞれ次の根拠になる。
- (2) は、一様乱数から任意の分布の乱数を作る方法(逆関数法)の根拠である。
- (1) は、連続分布に従う検定統計量の p 値が帰無仮説のもとで U(0,1) に従うことの根拠である。
たとえば指数分布の分布関数 F(x)=1−e−λx の逆関数は F−1(u)=−log(1−u)/λ である。1−U も U(0,1) に従う。よって −logU/λ は指数分布に従う。
正規分布
定義 3.10(正規分布)
μ∈R、σ>0 に対し、密度が
f(x)=2πσ1exp{−2σ2(x−μ)2}(x∈R)(3.13)
の分布を正規分布と呼び、N(μ,σ2) と書く。N(0,1) を標準正規分布と呼ぶ。その密度を ϕ、分布関数を Φ と書く。次を満たす点 zα を、上側 100α% 点と呼ぶ。
1−Φ(zα)=α
密度の積分が 1 になることは、I=∫−∞∞e−x2/2dx の2乗を極座標で計算して確かめる。
I2=∫−∞∞∫−∞∞e−(x2+y2)/2dxdy=∫02π∫0∞e−r2/2rdrdθ=2π[−e−r2/2]0∞=2π.
I>0 なので I=2π。一般の μ,σ は z=(x−μ)/σ と置換する。dx=σdz でこの場合に帰着する。同じ置換から、X∼N(μ,σ2) なら次が成り立つ。
Z=σX−μ∼N(0,1) (標準化),aX+b∼N(aμ+b,a2σ2) (a=0).
命題 3.11(正規分布の積率母関数と積率)
X∼N(μ,σ2) なら、すべての t∈R で
MX(t)=exp(μt+σ2t2/2).
Z∼N(0,1) の積率は、奇数次が 0、偶数次が
E[Z2k]=2kk!(2k)!=(2k−1)(2k−3)⋯3⋅1(3.14)
で、とくに E[Z2]=1、E[Z4]=3。
証明
まず Z について、指数の中を平方完成する。tz−z2/2=−(z−t)2/2+t2/2 なので
MZ(t)=∫−∞∞2π1etz−z2/2dz=et2/2∫−∞∞2π1e−(z−t)2/2dz=et2/2.
最後の積分は N(t,1) の密度の積分で 1 である。X=μ+σZ なので
MX(t)=E[etμ+tσZ]=eμtMZ(σt)=exp(μt+σ2t2/2).
積率は、次の2つの展開の係数を比べて得る。
MZ(t)=et2/2=k≥0∑2kk!t2k,MZ(t)=m∑m!E[Zm]tm.
奇数次の項が無いので、奇数次の積率は 0 である。t2k の係数から E[Z2k]/(2k)!=1/(2kk!) である。
この積率母関数から、独立な Xi∼N(μi,σi2) の線形結合の分布がわかる。
M∑aiXi(t)=i∏exp(aiμit+ai2σi2t2/2)
より、∑aiXi は N(∑aiμi, ∑ai2σi2) に従う。とくに独立同一に N(μ,σ2) に従う標本の平均は Xˉ∼N(μ,σ2/n) である。数表の値として、次を使う。
z0.05=1.645,z0.025=1.960,z0.005=2.576.
指数分布とガンマ分布
定義 3.12(指数分布)
λ>0 に対し、密度が
f(x)=λe−λx(x>0)
の分布を指数分布と呼び、Ex(λ) と書く。
分布関数は F(x)=1−e−λx、裾は P(X>x)=e−λx である。t<λ で積率母関数
MX(t)=∫0∞λe−(λ−t)xdx=λ−tλ
が存在する。微分して t=0 を代入すると
MX′(t)MX′′(t)=(λ−t)2λ=(λ−t)32λ⟹E[X]=λ1,⟹E[X2]=λ22,V[X]=λ21.
幾何分布と同じ無記憶性
P(X>s+t∣X>s)=e−λse−λ(s+t)=e−λt=P(X>t)(s,t>0)(3.15)
を持つ。正の値をとる連続分布で無記憶性を持つのは指数分布だけである。
実際、g(t)=P(X>t) は g(s+t)=g(s)g(t) を満たす単調な関数である。そのような関数は g(t)=e−λt の形に限られる。寿命や待ち時間のモデルで「使い古されても壊れやすさが変わらない」という仮定を置くことは、指数分布を仮定することと同じである。
ガンマ分布を定義するために、ガンマ関数
Γ(α)=∫0∞xα−1e−xdx(α>0)(3.16)
を使う。積分は両端で収束する。
- x→0 で被積分関数は xα−1 程度である。よって α>0 なら収束する。
- x→∞ では、指数関数 e−x の減衰がべき関数の増加より速い。よって収束する。
部分積分で
Γ(α+1)=[−xαe−x]0∞+α∫0∞xα−1e−xdx=αΓ(α)
を得る。Γ(1)=1 と合わせると、正の整数 n について次が成り立つ。
Γ(n)=(n−1)!
また x=z2/2 と置換する。dx=zdz、x−1/2=2/z なので
Γ(1/2)=∫0∞z2e−z2/2zdz=2∫0∞e−z2/2dz=2⋅22π=π.
定義 3.13(ガンマ分布)
α>0(形状母数)、β>0(尺度母数)に対し、密度が
f(x)=Γ(α)βαxα−1e−x/β(x>0)(3.17)
の分布をガンマ分布と呼び、Ga(α,β) と書く。この教材では β を常に尺度(平均に比例する側)にとる。
x=βy と置換すると
∫0∞f(x)dx=Γ(α)1∫0∞yα−1e−ydy=1
である。同じ置換から、Y∼Ga(α,1) なら βY∼Ga(α,β) である。一般に c>0 について cX∼Ga(α,cβ)。
α=1 とすると f(x)=e−x/β/β である。よって Ga(1,1/λ)=Ex(λ) である。
ガンマ分布を xα−1e−λxλα/Γ(α)(λ は率)で書く本もある。そのときの λ はこの教材の 1/β に当たる。答案ではどちらの書き方かを先に宣言する。
定理 3.14(ガンマ分布の積率・積率母関数・再生性 ★★★)
X∼Ga(α,β) とする。
- k>−α を満たす実数 k について
E[Xk]=βkΓ(α)Γ(α+k).
とくに E[X]=αβ、V[X]=αβ2。2. t<1/β で MX(t)=(1−βt)−α。3. X1∼Ga(α1,β) と X2∼Ga(α2,β) が独立なら、
X1+X2∼Ga(α1+α2,β).
証明
(1) 密度の積分が 1 であることを、母数 α+k について使う。すなわち
∫0∞xα+k−1e−x/βdx=Γ(α+k)βα+k
なので
E[Xk]=Γ(α)βα1∫0∞xα+k−1e−x/βdx=Γ(α)βαΓ(α+k)βα+k=βkΓ(α)Γ(α+k).
k=1 とすると、Γ(α+1)/Γ(α)=α である。よって E[X]=αβ。k=2 とすると E[X2]=β2α(α+1)。よって
V[X]=β2α(α+1)−α2β2=αβ2.
(2) etxe−x/β=e−x(1−βt)/β である。そこで β′=β/(1−βt) とおく(t<1/β で正)。尺度 β′ のガンマ密度の積分に直すと
MX(t)=Γ(α)βα1∫0∞xα−1e−x/β′dx=Γ(α)βαΓ(α)β′α=(1−βt1)α.
(3) (3.1) から、t<1/β で
MX1+X2(t)=(1−βt)−α1(1−βt)−α2=(1−βt)−(α1+α2).
これは Ga(α1+α2,β) の積率母関数なので、一意性定理から主張が従う。
尺度 β が共通でないと再生性は成り立たない。系として、X1,…,Xn が独立に Ex(λ)=Ga(1,1/λ) に従うとする。その和は ∑Xi∼Ga(n,1/λ) である。定数倍の性質と合わせて
2λi=1∑nXi∼Ga(n,2)(3.18)
を得る。次の小節で見るように、Ga(n,2) は自由度 2n のカイ二乗分布である。(3.18) は指数分布の母数の信頼区間(第8章)と検定(第7章)の枢軸量になる。
図 3.2 に β=1 のガンマ密度を示す。形は α で2通りに分かれる。
- α≤1 では x=0 で密度が最大になる。α<1 なら密度は発散する。
- α>1 では最頻値 (α−1)β を持つ山形になる。

図 3.2 ガンマ分布 Ga(α,1) の密度。実線は α=1、破線は α=2 である。点線は α=4 である。平均 α と分散 α がともに増え、山が右へ移りながら広がる(座標は verify_ch03.py で再計算できる)。
ガンマ分布と指数分布の和の関係は、ポアソン分布との間の次の関係に言い換えることができる。
定理 3.15(待ち時間と個数の双対性 ★★)
n を正の整数、λ>0 とする。T∼Ga(n,1/λ) とし、Nt∼Po(λt) とする。すべての t>0 について
P(T≤t)=P(Nt≥n)=1−k=0∑n−1e−λtk!(λt)k.(3.19)
証明
右辺を t の関数 R(t) とみて微分する。和の各項の微分は次のとおりである。
k≥1 の項:k=0 の項:dtd{e−λtk!(λt)k}=λe−λt(k−1)!(λt)k−1−λe−λtk!(λt)k,dtde−λt=−λe−λt.
∑k=0n−1 の微分では隣どうしが打ち消し合い、−λe−λt(λt)n−1/(n−1)! だけが残る。よって
R′(t)=λe−λt(n−1)!(λt)n−1=Γ(n)(1/λ)ntn−1e−λt,
これは Ga(n,1/λ) の密度である。R(0)=1−1=0=P(T≤0) なので、両辺は t=0 で等しく導関数も等しい。したがってすべての t>0 で等しい。
この関係には次の解釈がある。事象が単位時間あたり平均 λ 回、互いに独立に起こるとする(ポアソン過程、第12章)。
- 事象の間隔は独立に Ex(λ) に従う。n 番目の事象の時刻を T とする。T は間隔を n 個足したものである。よって T∼Ga(n,1/λ)。
- 時刻 t までの事象の個数を Nt とする。Nt は Po(λt) に従う。
次の2つは同じ事象なので、確率が一致する。
- n 番目の事象が時刻 t までに起こる。
- 時刻 t までに n 個以上起こる。
例題 3.3 待ち時間の確率を2通りに計算する ★★
オリジナルある窓口に客が単位時間(1時間)あたり平均 3 人のポアソン過程で到着する。
- 2人目の客の到着時刻 T の分布を答え、その平均を分で求めよ。
- T が30分以内である確率を、T の密度の積分で求めよ。
- 同じ確率を定理 3.15 を使ってポアソン分布で求め、(2) と一致することを確かめよ。
解答
(1) 到着間隔 X1,X2 は独立に Ex(3)=Ga(1,1/3) に従う。T=X1+X2 なので、再生性から T∼Ga(2,1/3)。平均は αβ=2/3 時間 =40 分である。
(2) 密度は f(t)=te−3t/(Γ(2)(1/3)2)=9te−3t。部分積分で
P(T≤21)=∫01/29te−3tdt=9[−3te−3t−91e−3t]01/2=9(−61e−1.5−91e−1.5+91)=1−2.5e−1.5.
(3) 30分間の到着数は N∼Po(3×21)=Po(1.5)。(3.19) で n=2 として
P(T≤21)=P(N≥2)=1−e−1.5(1+1.5)=1−2.5e−1.5=0.4422.
(2) と同じ式になる。部分積分を繰り返す (2) の計算は n が大きいと長くなるが、(3) の側は有限和を書くだけで済む。
カイ二乗分布
定義 3.16(カイ二乗分布)
n を正の整数とする。Ga(n/2,2) を自由度 n のカイ二乗分布と呼ぶ。これを χn2 と書く。密度は
f(x)=2n/2Γ(n/2)xn/2−1e−x/2(x>0)(3.20)
で、上側 100α% 点を χn2(α) と書く。
定理 3.14 から、χn2 について次が成り立つ。
平均分散積率母関数(n/2)⋅2=n,(n/2)⋅4=2n,(1−2t)−n/2(t<1/2).
また再生性により、独立なカイ二乗変数の和は、自由度を足したカイ二乗分布に従う。式で書けば χm2+χn2∼χm+n2 である。n=2 では Ga(1,2)=Ex(1/2) である。カイ二乗分布が統計に現れる理由は、次の命題にある。
命題 3.17(標準正規の2乗 ★★★)
Z∼N(0,1) なら Z2∼χ12。したがって、Z1,…,Zn が独立に N(0,1) に従うなら
i=1∑nZi2∼χn2.
証明
x>0 について、Z2≤x⟺−x≤Z≤x である。よって
P(Z2≤x)=Φ(x)−Φ(−x)=2Φ(x)−1.
x で微分すると、合成関数の微分で (x)′=1/(2x) だから
fZ2(x)=2ϕ(x)⋅2x1=2π1x−1/2e−x/2.
Γ(1/2)=π から 21/2Γ(1/2)=2π である。よってこれは (3.20) で n=1 としたものに等しい。
後半を示す。独立な Zi2 はそれぞれ Ga(1/2,2) に従う。定理 3.14 (3) の再生性を n−1 回使えばよい。
Z2≤x の事象を2つの裾に分けて書くところが、単調でない変換の分布を求めるときの定石である(第2章 §2.5 の変数変換の公式は単調な変換を前提にしているので、そのままは使えない)。命題から χ12(α)=zα/22 で、たとえば χ12(0.05)=1.9602=3.841 である。
例題 3.4 指数分布の和とカイ二乗分布 ★★★
オリジナル
- Z1,…,Zn が独立に N(0,1) に従うとする。W=∑Zi2 とおく。Z12 の積率母関数の計算から、W の積率母関数を直接求めよ。それを使って W∼χn2 を確かめよ。
- X1,…,Xn が独立に Ex(λ) に従うとする。2λ∑Xi∼χ2n2 を積率母関数で示せ。
- χ22 の上側 5% 点を閉じた形で求めよ。
解答
(1) t<1/2 で
MZ12(t)=∫−∞∞2π1etz2e−z2/2dz=∫−∞∞2π1e−(1−2t)z2/2dz=(1−2t)−1/2.
最後は u=1−2tz と置換し、標準正規密度の積分が 1 であることを使った。独立性から MW(t)=(1−2t)−n/2 である。これは Ga(n/2,2)=χn2 の積率母関数に等しい。定理 3.14 (2) で α=n/2、β=2 とすればよい。
(2) Y=2λ∑Xi とおく。s<λ で MXi(s)=λ/(λ−s) である。よって t<1/2 で
MY(t)=E[e2λt∑Xi]=i=1∏nMXi(2λt)=(λ−2λtλ)n=(1−2t)−n=(1−2t)−2n/2.
これは χ2n2 の積率母関数なので Y∼χ2n2。λ が分布から消えることが、枢軸量として使える理由である。
(3) χ22=Ex(1/2) なので P(W>x)=e−x/2。e−x/2=0.05 を解いて χ22(0.05)=−2log0.05=2log20=5.991。
ベータ分布
ベータ関数 B(a,b)=∫01xa−1(1−x)b−1dx(a,b>0)を使い、密度が
f(x)=B(a,b)xa−1(1−x)b−1(0<x<1)(3.21)
の分布をベータ分布と呼び、Beta(a,b) と書く。Beta(1,1)=U(0,1) である。
X∼Beta(a,b) なら1−X∼Beta(b,a) である。x↦1−x と置換すれば、密度の形が入れ替わるからである。[0,1] に値をとる量、たとえば比率や確率そのもののモデルに使う。ベータ分布とガンマ分布は次の定理で結び付く。
定理 3.18(ガンマ変数の和と比 ★★★)
X∼Ga(a,β) と Y∼Ga(b,β) が独立であるとする。U=X+Y と V=X/(X+Y) をつくると、次が成り立つ。
- U と V は独立である。
- U∼Ga(a+b,β)、V∼Beta(a,b) である。
さらに
B(a,b)=Γ(a+b)Γ(a)Γ(b).(3.22)
証明
次の2変数の変換を考える。
(x,y)↦(u,v)=(x+y, x+yx)
これは (0,∞)2 から (0,∞)×(0,1) への1対1の写像である。逆写像は x=uv、y=u(1−v)。第4章 §4.3 の変数変換の公式(同時密度に逆変換のヤコビアンの絶対値を掛ける)を使う。ヤコビアンは
∂(u,v)∂(x,y)=det(v1−vu−u)=−uv−u(1−v)=−u,
絶対値は u。独立性から (X,Y) の同時密度は2つのガンマ密度の積なので、(U,V) の同時密度は
g(u,v)=Γ(a)βa(uv)a−1e−uv/β⋅Γ(b)βb{u(1−v)}b−1e−u(1−v)/β⋅u=Γ(a)Γ(b)βa+bua+b−1e−u/β⋅va−1(1−v)b−1.
これを
g(u,v)=Ga(a+b,β) の密度Γ(a+b)βa+bua+b−1e−u/β⋅h(v)Γ(a)Γ(b)Γ(a+b)va−1(1−v)b−1
と書き直す。同時密度が u だけの関数と v だけの関数の積になったので、2つの変数は独立である。U の周辺密度は第1因子に比例する。
g を全域で積分すると 1 になる。第1因子の u についての積分も 1 なので、∫01h(v)dv=1。すなわち
Γ(a)Γ(b)Γ(a+b)B(a,b)=1
で、(3.22) が従う。h は Beta(a,b) の密度に一致する。
(3.22) から、V∼Beta(a,b) の積率は
E[Vk]=B(a,b)B(a+k,b)=Γ(a)Γ(a+b+k)Γ(a+k)Γ(a+b),
k=1,2 として
E[V]=a+ba,E[V2]=(a+b)(a+b+1)a(a+1),V[V]=(a+b)2(a+b+1)ab(3.23)
を得る。分散は (a+b)(a+b+1)a(a+1)−(a+b)2a2=(a+b)2(a+b+1)a{(a+1)(a+b)−a(a+b+1)}=(a+b)2(a+b+1)ab と計算する。
定理 3.18 は第5章で2つの場面に使う。
- F 分布の導出。独立な2つのカイ二乗変数の比は、この定理の比 V/(1−V) の定数倍になる。
- 一様分布の順序統計量。U(0,1) から大きさ n の標本をとる。その小さい方から k 番目は Beta(k,n−k+1) に従う。
そのほかの連続分布
1級の問題文に現れることのある分布を4つ挙げ、要点だけを導く。
対数正規分布 Y∼N(μ,σ2) のとき、X=eY の分布を対数正規分布と呼ぶ。これを LN(μ,σ2) と書く。x=ey は単調なので変数変換の公式から密度は
f(x)=2πσx1exp{−2σ2(logx−μ)2}(x>0).
積率は正規分布の積率母関数から求まる。
E[Xk]E[X]V[X]=E[ekY]=MY(k)=exp(kμ+k2σ2/2),=eμ+σ2/2,=e2μ+2σ2−e2μ+σ2=e2μ+σ2(eσ2−1).
ただし積率母関数 E[etX] は、正の t に対して発散する。etey が、正規密度の減衰 e−y2/2σ2 より速く増えるからである。
すべての積率が存在しても、積率母関数は存在しない。独立な対数正規変数の積は、対数をとれば正規変数の和なので、再び対数正規分布に従う。中央値は eμ で、平均 eμ+σ2/2 より小さい(右に長い裾を持つ)。
コーシー分布 密度 f(x)=1/{π(1+x2)}(x∈R)の分布を標準コーシー分布と呼ぶ。∫0Rxf(x)dx=log(1+R2)/(2π)→∞ なので E∣X∣=∞ で、平均が存在しない。独立な2つの N(0,1) の比がこの分布に従い(第4章の変数変換の例)、自由度 1 の t 分布と一致する。大数の法則が成り立たない分布の代表例として使われる。
ワイブル分布 m,η>0 に対し、次で定まる分布をワイブル分布と呼ぶ。
P(X>x)=exp{−(x/η)m}(x>0)
m=1 なら Ex(1/η) である。一般には
P(Xm>y)=P(X>y1/m)=e−y/ηm
から Xm∼Ex(η−m)。故障率(ハザード)は
P(X>x)f(x)=ηmmxm−1
である。これは m>1 で増加し、m<1 で減少する。そこで摩耗や初期故障のある寿命のモデルに使う。
ラプラス分布(両側指数分布) 密度 f(x)=e−∣x−μ∣/b/(2b) の分布。μ を中心に左右対称である。X−μ の絶対値は Ex(1/b) に従うので
V[X]=E[(X−μ)2]=E∣X−μ∣2=2b2.
位置母数 μ の最尤推定量が標本中央値になる分布として、第6章の例に現れる。
確認テスト
オリジナル
- 3.2-1 標準コーシー分布について E∣X∣=∞ を示せ。
- 3.2-2 X1∼Ex(λ1) と X2∼Ex(λ2) が独立であるとする。次の2つを示せ。
min(X1,X2)∼Ex(λ1+λ2),P(X1<X2)=λ1+λ2λ1.
また λ1=1、λ2=3 とする。E[min(X1,X2)] と P(X1<X2) を求めよ。3. 3.2-3 X∼Ga(α,β) とし、α>1 とする。E[1/X] を求めよ。また α=3、β=2 とする。E[1/X] と E[X2] を求めよ。4. 3.2-4 U1,…,Un が独立に U(0,1) に従うとする。−2∑i=1nlogUi∼χ2n2 を示せ。それを使って P(U1U2≤e−3) を求めよ。5. 3.2-5 X∼LN(0,1) の平均・分散・中央値を求めよ。
AI(Claude)が書いた教材を、木下が勉強しながら公開しています。式と数値は検算していますが、誤りが残っているかもしれません。誤りのご指摘・削除のご依頼をいただければ直します。 連絡先:support@tecktom.com