確率論入門 第13章 §13.2 ★★★ 独立同分布で分散が有限なら、標準化した和は標準正規分布に分布収束する。同分布でない場合は Lindeberg 条件がその十分条件になる
独立同分布の場合
定理 13.10(中心極限定理(Lindeberg–Lévy))
X 1 , X 2 , … X_1,X_2,\dots X 1 , X 2 , … を独立同分布とし、次を仮定する。
E [ X 1 ] = μ , 0 < V [ X 1 ] = σ 2 < ∞ . E[X_1]=\mu,\qquad0<V[X_1]=\sigma^2<\infty. E [ X 1 ] = μ , 0 < V [ X 1 ] = σ 2 < ∞.
このとき (13.1) の Z n Z_n Z n について
Z n = S n − n μ σ n → d N ( 0 , 1 ) (13.8) Z_n=\frac{S_n-n\mu}{\sigma\sqrt n}\xrightarrow{d}\mathrm N(0,1)\tag{13.8} Z n = σ n S n − n μ d N ( 0 , 1 ) ( 13.8 )
が成り立つ。すなわち、すべての x ∈ R x\in\mathbb{R} x ∈ R で P ( Z n ≤ x ) → Φ ( x ) P(Z_n\le x)\to\Phi(x) P ( Z n ≤ x ) → Φ ( x ) である。
証明 Y k = ( X k − μ ) / σ Y_k=(X_k-\mu)/\sigma Y k = ( X k − μ ) / σ と置く。Y k Y_k Y k は独立同分布で、
E [ Y k ] = 0 , E [ Y k 2 ] = 1 , Z n = Y 1 + ⋯ + Y n n E[Y_k]=0,\qquad E[Y_k^2]=1,\qquad Z_n=\frac{Y_1+\cdots+Y_n}{\sqrt n} E [ Y k ] = 0 , E [ Y k 2 ] = 1 , Z n = n Y 1 + ⋯ + Y n
である。ψ = φ Y 1 \psi=\varphi_{Y_1} ψ = φ Y 1 と書くと、(13.2) から
ψ ( s ) = 1 − s 2 2 + s 2 ρ ( s ) , ρ ( s ) → 0 ( s → 0 ) \psi(s)=1-\frac{s^2}{2}+s^2\rho(s),\qquad\rho(s)\to0\ (s\to0) ψ ( s ) = 1 − 2 s 2 + s 2 ρ ( s ) , ρ ( s ) → 0 ( s → 0 )
と書ける(s ≠ 0 s\ne0 s = 0 で ρ ( s ) = ( ψ ( s ) − 1 + s 2 / 2 ) / s 2 \rho(s)=(\psi(s)-1+s^2/2)/s^2 ρ ( s ) = ( ψ ( s ) − 1 + s 2 /2 ) / s 2 と定めればよい)。独立和の特性関数は積で、φ a Y ( t ) = φ Y ( a t ) \varphi_{aY}(t)=\varphi_Y(at) φ aY ( t ) = φ Y ( a t ) である。そこで t ≠ 0 t\ne0 t = 0 を固定すると
φ Z n ( t ) = ψ ( t n ) n = ( 1 + c n n ) n , c n = n ( ψ ( t n ) − 1 ) = − t 2 2 + t 2 ρ ( t n ) \varphi_{Z_n}(t)=\psi\Bigl(\frac{t}{\sqrt n}\Bigr)^n=\Bigl(1+\frac{c_n}{n}\Bigr)^n,\qquad
c_n=n\Bigl(\psi\Bigl(\frac{t}{\sqrt n}\Bigr)-1\Bigr)=-\frac{t^2}{2}+t^2\rho\Bigl(\frac{t}{\sqrt n}\Bigr) φ Z n ( t ) = ψ ( n t ) n = ( 1 + n c n ) n , c n = n ( ψ ( n t ) − 1 ) = − 2 t 2 + t 2 ρ ( n t )
である。n → ∞ n\to\infty n → ∞ で t / n → 0 t/\sqrt n\to0 t / n → 0 なので、次が成り立つ。
c n → − t 2 2 c_n\to-\frac{t^2}2 c n → − 2 t 2 補題 13.9 から φ Z n ( t ) → e − t 2 / 2 \varphi_{Z_n}(t)\to\mathrm{e}^{-t^2/2} φ Z n ( t ) → e − t 2 /2 を得る。t = 0 t=0 t = 0 では両辺が 1 である。
e − t 2 / 2 \mathrm{e}^{-t^2/2} e − t 2 /2 は N ( 0 , 1 ) \mathrm N(0,1) N ( 0 , 1 ) の特性関数(第8章)である。定理 13.7 (ii) から Z n → d N ( 0 , 1 ) Z_n\xrightarrow{d}\mathrm N(0,1) Z n d N ( 0 , 1 ) である。Φ \Phi Φ はいたるところ連続なので、分布関数の収束はすべての x x x で成り立つ。
証明の中で使ったのは、特性関数の 2 次までの展開だけである。元の分布の3次以上の情報(歪み・尖り)は o ( s 2 ) o(s^2) o ( s 2 ) の中に入り、n → ∞ n\to\infty n → ∞ で消える。これが極限が分布によらない理由である。図 13.2 は、強く歪んだ指数分布から出発しても、和を標準化すると正規分布の形に近づく様子を示す。
図 13.2 X k ∼ E x ( 1 ) X_k\sim\mathrm{Ex}(1) X k ∼ Ex ( 1 ) のとき、Z n = ( S n − n ) / n Z_n=(S_n-n)/\sqrt n Z n = ( S n − n ) / n の密度(S n ∼ G a ( n , 1 ) S_n\sim\mathrm{Ga}(n,1) S n ∼ Ga ( n , 1 ) の密度を変数変換したもの)。n = 1 , 4 , 16 n=1,4,16 n = 1 , 4 , 16 と大きくなるにつれ、赤の破線の標準正規分布の密度 ϕ \phi ϕ に近づく。n = 16 n=16 n = 16 でも山がやや左に寄っているのは、Z n Z_n Z n の歪度 2 / n 2/\sqrt n 2/ n (第8章 §8.4)が 0.5 残っているためである。
二項分布は独立な Bernoulli 確率変数の和なので、定理から次の系がすぐに出る。
系 13.11(de Moivre–Laplace の定理)
0 < p < 1 0<p<1 0 < p < 1 を固定し、S n ∼ B i n ( n , p ) S_n\sim\mathrm{Bin}(n,p) S n ∼ Bin ( n , p ) とする。このとき S n − n p n p ( 1 − p ) → d N ( 0 , 1 ) \dfrac{S_n-np}{\sqrt{np(1-p)}}\xrightarrow{d}\mathrm N(0,1) n p ( 1 − p ) S n − n p d N ( 0 , 1 ) である。
整数値の分布の近似(連続補正)
S n S_n S n を整数値とする。このとき事象 { S n ≤ k } \{S_n\le k\} { S n ≤ k } と事象 { S n < k + 1 } \{S_n<k+1\} { S n < k + 1 } は等しい。ところが正規近似でそれぞれ
Φ ( k − n μ σ n ) , Φ ( k + 1 − n μ σ n ) \Phi\Bigl(\frac{k-n\mu}{\sigma\sqrt n}\Bigr),\qquad\Phi\Bigl(\frac{k+1-n\mu}{\sigma\sqrt n}\Bigr) Φ ( σ n k − n μ ) , Φ ( σ n k + 1 − n μ )
を使うと値が異なる。
正規分布の密度で確率関数を近似すると、整数 k k k の確率は区間 [ k − 1 2 , k + 1 2 ] [k-\frac12,k+\frac12] [ k − 2 1 , k + 2 1 ] の面積に対応する。そこで次のように半目盛りずらすと、近似が改善することが多い。
P ( S n ≤ k ) ≈ Φ ( k + 1 2 − n μ σ n ) P(S_n\le k)\approx\Phi\Bigl(\frac{k+\frac12-n\mu}{\sigma\sqrt n}\Bigr) P ( S n ≤ k ) ≈ Φ ( σ n k + 2 1 − n μ )
これを連続補正 と呼ぶ。
中心極限定理そのものは n → ∞ n\to\infty n → ∞ の極限の主張であり、連続補正は有限の n n n での近似の工夫である。両者の差は n → ∞ n\to\infty n → ∞ で 0 になる。
例題 13.2 サイコロの1の目の回数の正規近似 ★★
オリジナル 公正なサイコロを 720 回投げ、1の目が出た回数を S S S とする。
(1) S S S の期待値と標準偏差を求めよ。
(2) P ( S ≥ 135 ) P(S\ge135) P ( S ≥ 135 ) を、連続補正をした正規近似と、連続補正をしない正規近似で求めよ。
(3) 二項分布で計算した正確な値 P ( S ≥ 135 ) ≈ 0.0751 P(S\ge135)\approx0.0751 P ( S ≥ 135 ) ≈ 0.0751 と比べ、どちらが近いかを述べよ。
解答 (1) S ∼ B i n ( 720 , 1 6 ) S\sim\mathrm{Bin}(720,\frac16) S ∼ Bin ( 720 , 6 1 ) なので
E [ S ] = 720 ⋅ 1 6 = 120 , V [ S ] = 720 ⋅ 1 6 ⋅ 5 6 = 100 E[S]=720\cdot\frac16=120,\qquad V[S]=720\cdot\frac16\cdot\frac56=100 E [ S ] = 720 ⋅ 6 1 = 120 , V [ S ] = 720 ⋅ 6 1 ⋅ 6 5 = 100
で、標準偏差は 10 である。
(2) 系 13.11 から ( S − 120 ) / 10 (S-120)/10 ( S − 120 ) /10 は近似的に N ( 0 , 1 ) \mathrm N(0,1) N ( 0 , 1 ) に従う。S S S は整数値なので P ( S ≥ 135 ) = P ( S > 134.5 ) P(S\ge135)=P(S>134.5) P ( S ≥ 135 ) = P ( S > 134.5 ) であり、連続補正をすると
P ( S ≥ 135 ) ≈ 1 − Φ ( 134.5 − 120 10 ) = 1 − Φ ( 1.45 ) ≈ 0.0735 P(S\ge135)\approx1-\Phi\Bigl(\frac{134.5-120}{10}\Bigr)=1-\Phi(1.45)\approx0.0735 P ( S ≥ 135 ) ≈ 1 − Φ ( 10 134.5 − 120 ) = 1 − Φ ( 1.45 ) ≈ 0.0735
である。連続補正をしないと
P ( S ≥ 135 ) ≈ 1 − Φ ( 135 − 120 10 ) = 1 − Φ ( 1.5 ) ≈ 0.0668 P(S\ge135)\approx1-\Phi\Bigl(\frac{135-120}{10}\Bigr)=1-\Phi(1.5)\approx0.0668 P ( S ≥ 135 ) ≈ 1 − Φ ( 10 135 − 120 ) = 1 − Φ ( 1.5 ) ≈ 0.0668
である。
(3) 正確な値 0.0751 との差は、連続補正をした方が 0.0016、しない方が 0.0083 であり、連続補正をした方が5倍ほど近い。残る差は主に分布の歪みによる。B i n ( 720 , 1 6 ) \mathrm{Bin}(720,\frac16) Bin ( 720 , 6 1 ) の歪度は ( q − p ) / n p q = ( 2 / 3 ) / 10 ≈ 0.067 (q-p)/\sqrt{npq}=(2/3)/10\approx0.067 ( q − p ) / n pq = ( 2/3 ) /10 ≈ 0.067 で正なので、右の裾が正規分布よりわずかに厚く、近似は裾の確率をやや小さく見積もる。
同分布でない場合と Lindeberg 条件
物理の測定誤差のように、多数の独立な寄与の和であっても、寄与の大きさがそろっていない場合がある。このときも、1つ1つの寄与が全体に比べて小さければ、和は正規分布に近づく。この「どの寄与も全体を支配しない」という条件を正確に述べたものが Lindeberg 条件である。各 n n n ごとに別の確率変数の組を考える三角配列の形で述べる。
定理 13.12(Lindeberg の中心極限定理)
各 n n n について X n , 1 , … , X n , k n X_{n,1},\dots,X_{n,k_n} X n , 1 , … , X n , k n は独立で、次を満たすとする。
E [ X n , k ] = 0 , σ n , k 2 = E [ X n , k 2 ] < ∞ , ∑ k = 1 k n σ n , k 2 = 1. E[X_{n,k}]=0,\qquad\sigma_{n,k}^2=E[X_{n,k}^2]<\infty,\qquad\sum_{k=1}^{k_n}\sigma_{n,k}^2=1. E [ X n , k ] = 0 , σ n , k 2 = E [ X n , k 2 ] < ∞ , k = 1 ∑ k n σ n , k 2 = 1.
任意の ε > 0 \varepsilon >0 ε > 0 について
L n ( ε ) = ∑ k = 1 k n E [ X n , k 2 1 { ∣ X n , k ∣ > ε } ] → 0 ( n → ∞ ) (13.9) L_n(\varepsilon )=\sum_{k=1}^{k_n}E\bigl[X_{n,k}^2\mathbf 1_{\{\left\vert X_{n,k}\right\vert >\varepsilon \}}\bigr]\to0\qquad(n\to\infty)\tag{13.9} L n ( ε ) = k = 1 ∑ k n E [ X n , k 2 1 { ∣ X n , k ∣ > ε } ] → 0 ( n → ∞ ) ( 13.9 )
(Lindeberg 条件 )が成り立つならば、S n = ∑ k = 1 k n X n , k → d N ( 0 , 1 ) S_n=\sum_{k=1}^{k_n}X_{n,k}\xrightarrow{d}\mathrm N(0,1) S n = ∑ k = 1 k n X n , k d N ( 0 , 1 ) である。
証明 t t t を固定し、次のように書く。
φ n , k = φ X n , k , a n , k = t 2 σ n , k 2 2 . \varphi_{n,k}=\varphi_{X_{n,k}},\qquad a_{n,k}=\frac{t^2\sigma_{n,k}^2}{2}. φ n , k = φ X n , k , a n , k = 2 t 2 σ n , k 2 .
第1段(個々の分散は小さい) 。ε > 0 \varepsilon >0 ε > 0 について
σ n , k 2 = E [ X n , k 2 1 { ∣ X n , k ∣ ≤ ε } ] + E [ X n , k 2 1 { ∣ X n , k ∣ > ε } ] ≤ ε 2 + L n ( ε ) \sigma_{n,k}^2=E\bigl[X_{n,k}^2\mathbf 1_{\{\left\vert X_{n,k}\right\vert \le\varepsilon \}}\bigr]+E\bigl[X_{n,k}^2\mathbf 1_{\{\left\vert X_{n,k}\right\vert >\varepsilon \}}\bigr]\le\varepsilon ^2+L_n(\varepsilon ) σ n , k 2 = E [ X n , k 2 1 { ∣ X n , k ∣ ≤ ε } ] + E [ X n , k 2 1 { ∣ X n , k ∣ > ε } ] ≤ ε 2 + L n ( ε )
なので、lim sup n max k σ n , k 2 ≤ ε 2 \limsup_n\max_k\sigma_{n,k}^2\le\varepsilon ^2 lim sup n max k σ n , k 2 ≤ ε 2 である。ε \varepsilon ε は任意だから max k σ n , k 2 → 0 \max_k\sigma_{n,k}^2\to0 max k σ n , k 2 → 0 である。したがって十分大きな n n n で max k a n , k ≤ 1 \max_ka_{n,k}\le1 max k a n , k ≤ 1 となる。以下この n n n を考える。
第2段(特性関数の2次近似) 。(13.3) で x = t X n , k x=tX_{n,k} x = t X n , k とし、期待値をとる。E [ X n , k ] = 0 E[X_{n,k}]=0 E [ X n , k ] = 0 なので
∣ φ n , k ( t ) − ( 1 − a n , k ) ∣ ≤ E [ min ( ∣ t X n , k ∣ 3 6 , t 2 X n , k 2 ) ] ≤ ε ∣ t ∣ 3 6 σ n , k 2 + t 2 E [ X n , k 2 1 { ∣ X n , k ∣ > ε } ] \bigl|\varphi_{n,k}(t)-(1-a_{n,k})\bigr|\le E\Bigl[\min\Bigl(\frac{\left\vert tX_{n,k}\right\vert ^3}{6},\,t^2X_{n,k}^2\Bigr)\Bigr]
\le\frac{\varepsilon \left\vert t\right\vert ^3}{6}\sigma_{n,k}^2+t^2E\bigl[X_{n,k}^2\mathbf 1_{\{\left\vert X_{n,k}\right\vert >\varepsilon \}}\bigr] φ n , k ( t ) − ( 1 − a n , k ) ≤ E [ min ( 6 ∣ t X n , k ∣ 3 , t 2 X n , k 2 ) ] ≤ 6 ε ∣ t ∣ 3 σ n , k 2 + t 2 E [ X n , k 2 1 { ∣ X n , k ∣ > ε } ]
である。ここで使ったのは次の2つである。
∣ X n , k ∣ ≤ ε \left\vert X_{n,k}\right\vert \le\varepsilon ∣ X n , k ∣ ≤ ε の上では ∣ t X n , k ∣ 3 ≤ ε ∣ t ∣ 3 X n , k 2 \left\vert tX_{n,k}\right\vert ^3\le\varepsilon \left\vert t\right\vert ^3X_{n,k}^2 ∣ t X n , k ∣ 3 ≤ ε ∣ t ∣ 3 X n , k 2 である。
∣ X n , k ∣ > ε \left\vert X_{n,k}\right\vert >\varepsilon ∣ X n , k ∣ > ε の上では min \min min の第2項で抑える。
∣ φ n , k ∣ ≤ 1 \left\vert \varphi_{n,k}\right\vert \le1 ∣ φ n , k ∣ ≤ 1 と ∣ 1 − a n , k ∣ ≤ 1 \left\vert 1-a_{n,k}\right\vert \le1 ∣ 1 − a n , k ∣ ≤ 1 が成り立つ。補題 13.8 を θ = 1 \theta=1 θ = 1 で使うと
∣ ∏ k φ n , k ( t ) − ∏ k ( 1 − a n , k ) ∣ ≤ ε ∣ t ∣ 3 6 + t 2 L n ( ε ) \Bigl|\prod_k\varphi_{n,k}(t)-\prod_k(1-a_{n,k})\Bigr|\le\frac{\varepsilon \left\vert t\right\vert ^3}{6}+t^2L_n(\varepsilon ) k ∏ φ n , k ( t ) − k ∏ ( 1 − a n , k ) ≤ 6 ε ∣ t ∣ 3 + t 2 L n ( ε )
である。
第3段(指数関数への置き換え) 。0 ≤ a ≤ 1 0\le a\le1 0 ≤ a ≤ 1 では
0 ≤ e − a − ( 1 − a ) ≤ a 2 2 0\le\mathrm{e}^{-a}-(1-a)\le\frac{a^2}{2} 0 ≤ e − a − ( 1 − a ) ≤ 2 a 2
が成り立つ(e − a \mathrm{e}^{-a} e − a の Taylor 展開は交代級数で、項の絶対値が減少する)。再び補題 13.8 から
∣ ∏ k ( 1 − a n , k ) − ∏ k e − a n , k ∣ ≤ ∑ k a n , k 2 2 ≤ 1 2 max k a n , k ∑ k a n , k = t 2 4 max k a n , k → 0 \Bigl|\prod_k(1-a_{n,k})-\prod_k\mathrm{e}^{-a_{n,k}}\Bigr|\le\sum_k\frac{a_{n,k}^2}{2}\le\frac12\max_ka_{n,k}\sum_ka_{n,k}=\frac{t^2}{4}\max_ka_{n,k}\to0 k ∏ ( 1 − a n , k ) − k ∏ e − a n , k ≤ k ∑ 2 a n , k 2 ≤ 2 1 k max a n , k k ∑ a n , k = 4 t 2 k max a n , k → 0
である。∏ k e − a n , k = exp ( − t 2 2 ∑ k σ n , k 2 ) = e − t 2 / 2 \prod_k\mathrm{e}^{-a_{n,k}}=\exp(-\frac{t^2}{2}\sum_k\sigma_{n,k}^2)=\mathrm{e}^{-t^2/2} ∏ k e − a n , k = exp ( − 2 t 2 ∑ k σ n , k 2 ) = e − t 2 /2 なので、第2段と合わせて
lim sup n ∣ φ S n ( t ) − e − t 2 / 2 ∣ ≤ ε ∣ t ∣ 3 6 \limsup_n\bigl|\varphi_{S_n}(t)-\mathrm{e}^{-t^2/2}\bigr|\le\frac{\varepsilon \left\vert t\right\vert ^3}{6} n lim sup φ S n ( t ) − e − t 2 /2 ≤ 6 ε ∣ t ∣ 3
を得る。ε \varepsilon ε は任意なので φ S n ( t ) → e − t 2 / 2 \varphi_{S_n}(t)\to\mathrm{e}^{-t^2/2} φ S n ( t ) → e − t 2 /2 であり、定理 13.7 から結論を得る。
独立な列 X 1 , X 2 , … X_1,X_2,\dots X 1 , X 2 , … に使うときは、次のように置く。
E [ X k ] = μ k , V [ X k ] = σ k 2 , s n 2 = ∑ k = 1 n σ k 2 > 0 , X n , k = X k − μ k s n . E[X_k]=\mu_k,\qquad V[X_k]=\sigma_k^2,\qquad s_n^2=\sum_{k=1}^n\sigma_k^2>0,\qquad X_{n,k}=\frac{X_k-\mu_k}{s_n}. E [ X k ] = μ k , V [ X k ] = σ k 2 , s n 2 = k = 1 ∑ n σ k 2 > 0 , X n , k = s n X k − μ k .
条件 (13.9) は
1 s n 2 ∑ k = 1 n E [ ( X k − μ k ) 2 1 { ∣ X k − μ k ∣ > ε s n } ] → 0 (13.10) \frac1{s_n^2}\sum_{k=1}^nE\bigl[(X_k-\mu_k)^2\mathbf 1_{\{\left\vert X_k-\mu_k\right\vert >\varepsilon s_n\}}\bigr]\to0\tag{13.10} s n 2 1 k = 1 ∑ n E [ ( X k − μ k ) 2 1 { ∣ X k − μ k ∣ > ε s n } ] → 0 ( 13.10 )
となり、結論は ( S n − ∑ k ≤ n μ k ) / s n → d N ( 0 , 1 ) \bigl(S_n-\sum_{k\le n}\mu_k\bigr)/s_n\xrightarrow{d}\mathrm N(0,1) ( S n − ∑ k ≤ n μ k ) / s n d N ( 0 , 1 ) である。独立同分布なら左辺は σ − 2 E [ ( X 1 − μ ) 2 1 { ∣ X 1 − μ ∣ > ε σ n } ] \sigma^{-2}E[(X_1-\mu)^2\mathbf 1_{\{\left\vert X_1-\mu\right\vert >\varepsilon \sigma\sqrt n\}}] σ − 2 E [( X 1 − μ ) 2 1 { ∣ X 1 − μ ∣ > ε σ n } ] で、優収束定理から 0 に収束するので、定理 13.10 は定理 13.12 の特別な場合である。
Lindeberg 条件は確かめにくいことがあるので、より高いモーメントを使う十分条件がよく使われる。
系 13.13(Lyapunov の条件)
独立な列について、ある δ > 0 \delta>0 δ > 0 で
1 s n 2 + δ ∑ k = 1 n E [ ∣ X k − μ k ∣ 2 + δ ] → 0 (13.11) \frac{1}{s_n^{2+\delta}}\sum_{k=1}^nE\bigl[\left\vert X_k-\mu_k\right\vert ^{2+\delta}\bigr]\to0\tag{13.11} s n 2 + δ 1 k = 1 ∑ n E [ ∣ X k − μ k ∣ 2 + δ ] → 0 ( 13.11 )
が成り立てば、(13.10) が成り立ち、( S n − ∑ k μ k ) / s n → d N ( 0 , 1 ) \bigl(S_n-\sum_k\mu_k\bigr)/s_n\xrightarrow{d}\mathrm N(0,1) ( S n − ∑ k μ k ) / s n d N ( 0 , 1 ) である。
証明 Y = X k − μ k Y=X_k-\mu_k Y = X k − μ k と書く。∣ Y ∣ > ε s n \left\vert Y\right\vert >\varepsilon s_n ∣ Y ∣ > ε s n の上では ( ∣ Y ∣ / ( ε s n ) ) δ > 1 (\left\vert Y\right\vert /(\varepsilon s_n))^\delta>1 ( ∣ Y ∣ / ( ε s n ) ) δ > 1 なので、
Y 2 ≤ ∣ Y ∣ 2 + δ ( ε s n ) δ Y^2\le\frac{\left\vert Y\right\vert ^{2+\delta}}{(\varepsilon s_n)^\delta} Y 2 ≤ ( ε s n ) δ ∣ Y ∣ 2 + δ
である。したがって (13.10) の左辺は
ε − δ s n − ( 2 + δ ) ∑ k E ∣ X k − μ k ∣ 2 + δ \varepsilon ^{-\delta}s_n^{-(2+\delta)}\sum_kE\left\vert X_k-\mu_k\right\vert ^{2+\delta} ε − δ s n − ( 2 + δ ) k ∑ E ∣ X k − μ k ∣ 2 + δ
以下で、0 に収束する。
逆向きの主張と収束の速さ
Feller の定理 (主張のみ)。max k ≤ n σ k 2 / s n 2 → 0 \max_{k\le n}\sigma_k^2/s_n^2\to0 max k ≤ n σ k 2 / s n 2 → 0 のもとで中心極限定理が成り立つならば、Lindeberg 条件も成り立つ。この意味で、個々の寄与が無視できる状況では Lindeberg 条件は必要十分である。
Berry–Esseen の定理 (主張のみ)。独立同分布で ρ = E ∣ X 1 − μ ∣ 3 < ∞ \rho=E\left\vert X_1-\mu\right\vert ^3<\infty ρ = E ∣ X 1 − μ ∣ 3 < ∞ とする。ある普遍定数 C C C について次が成り立つ。
sup x ∣ P ( Z n ≤ x ) − Φ ( x ) ∣ ≤ C ρ σ 3 n \sup_x\left\vert P(Z_n\le x)-\Phi(x)\right\vert \le\frac{C\rho}{\sigma^3\sqrt n} x sup ∣ P ( Z n ≤ x ) − Φ ( x ) ∣ ≤ σ 3 n C ρ
C C C は 0.48 より小さくとれることが知られている。誤差は一般に 1 / n 1/\sqrt n 1/ n の速さでしか減らない。
分散が無限の場合は定理の前提が崩れる。Cauchy 分布の標本平均は n n n によらず Cauchy 分布に従い(第9章 §9.3)、どう標準化しても正規分布には近づかない。
例題 13.3 記録更新の回数 ★★
オリジナル 独立な確率変数 I 1 , I 2 , … I_1,I_2,\dots I 1 , I 2 , … が次を満たすとする。
P ( I k = 1 ) = 1 k , P ( I k = 0 ) = 1 − 1 k P(I_k=1)=\frac1k,\qquad P(I_k=0)=1-\frac1k P ( I k = 1 ) = k 1 , P ( I k = 0 ) = 1 − k 1
R n = I 1 + ⋯ + I n R_n=I_1+\cdots+I_n R n = I 1 + ⋯ + I n と置く。(独立同分布で連続分布に従う観測値 ξ 1 , ξ 2 , … \xi_1,\xi_2,\dots ξ 1 , ξ 2 , … を順に見る。ξ k \xi_k ξ k がそれまでの最大値を更新する事象の指示関数は、ちょうどこの分布をもち、互いに独立であることが知られている。R n R_n R n は n n n 個の中の記録更新の回数である。)
(1) E [ R n ] E[R_n] E [ R n ] と V [ R n ] V[R_n] V [ R n ] を求めよ。また n → ∞ n\to\infty n → ∞ で V [ R n ] → ∞ V[R_n]\to\infty V [ R n ] → ∞ を示せ。
(2) Lindeberg 条件 (13.10) を確かめ、次を示せ。
R n − E [ R n ] V [ R n ] → d N ( 0 , 1 ) \frac{R_n-E[R_n]}{\sqrt{V[R_n]}}\xrightarrow{d}\mathrm N(0,1) V [ R n ] R n − E [ R n ] d N ( 0 , 1 )
3. (3) n = 10 6 n=10^6 n = 1 0 6 のときの期待値と標準偏差 V [ R n ] \sqrt{V[R_n]} V [ R n ] を数値で求めよ。また正規近似で確率およそ 0.95 の範囲 E [ R n ] ± 1.96 V [ R n ] E[R_n]\pm1.96\sqrt{V[R_n]} E [ R n ] ± 1.96 V [ R n ] を求めよ。
解答 (1) E [ I k ] = 1 k E[I_k]=\frac1k E [ I k ] = k 1 、V [ I k ] = 1 k ( 1 − 1 k ) V[I_k]=\frac1k(1-\frac1k) V [ I k ] = k 1 ( 1 − k 1 ) なので、
E [ R n ] = H n = ∑ k = 1 n 1 k , s n 2 = V [ R n ] = ∑ k = 1 n ( 1 k − 1 k 2 ) = H n − ∑ k = 1 n 1 k 2 E[R_n]=H_n=\sum_{k=1}^n\frac1k,\qquad s_n^2=V[R_n]=\sum_{k=1}^n\Bigl(\frac1k-\frac1{k^2}\Bigr)=H_n-\sum_{k=1}^n\frac1{k^2} E [ R n ] = H n = k = 1 ∑ n k 1 , s n 2 = V [ R n ] = k = 1 ∑ n ( k 1 − k 2 1 ) = H n − k = 1 ∑ n k 2 1
である。H n ≥ log ( n + 1 ) → ∞ H_n\ge\log(n+1)\to\infty H n ≥ log ( n + 1 ) → ∞ である。一方 ∑ 1 / k 2 ≤ π 2 / 6 \sum1/k^2\le\pi^2/6 ∑ 1/ k 2 ≤ π 2 /6 は有界なので、s n 2 → ∞ s_n^2\to\infty s n 2 → ∞ である。
(2) ∣ I k − 1 k ∣ ≤ 1 \left\vert I_k-\frac1k\right\vert \le1 I k − k 1 ≤ 1 である。ε > 0 \varepsilon >0 ε > 0 を与える。
s n → ∞ s_n\to\infty s n → ∞ なので、十分先の番号では ε s n > 1 \varepsilon s_n>1 ε s n > 1 となる。このとき事象 { ∣ I k − 1 / k ∣ > ε s n } \{\left\vert I_k-1/k\right\vert >\varepsilon s_n\} { ∣ I k − 1/ k ∣ > ε s n } はすべての k ≤ n k\le n k ≤ n で空である。したがって (13.10) の左辺はある n n n から先で 0 に等しく、Lindeberg 条件が成り立つ。定理 13.12 から ( R n − H n ) / s n → d N ( 0 , 1 ) (R_n-H_n)/s_n\xrightarrow{d}\mathrm N(0,1) ( R n − H n ) / s n d N ( 0 , 1 ) である。
(3) 数値計算で
H 10 6 ≈ 14.393 , ∑ k ≤ 10 6 1 k 2 ≈ 1.645 H_{10^6}\approx14.393,\qquad\sum_{k\le10^6}\frac1{k^2}\approx1.645 H 1 0 6 ≈ 14.393 , k ≤ 1 0 6 ∑ k 2 1 ≈ 1.645
なので、s n 2 ≈ 12.748 s_n^2\approx12.748 s n 2 ≈ 12.748 、s n ≈ 3.570 s_n\approx3.570 s n ≈ 3.570 である。範囲は
14.393 ± 1.96 × 3.570 ≈ [ 7.39 , 21.39 ] 14.393\pm1.96\times3.570\approx[7.39,\ 21.39] 14.393 ± 1.96 × 3.570 ≈ [ 7.39 , 21.39 ]
となる。100万個の観測値があっても、記録の更新はおよそ7回から21回のあいだにとどまる。平均が log n \log n log n の程度でしか増えないのに、ゆらぎの大きさが log n \sqrt{\log n} log n の程度あるので、相対的なゆらぎは小さくならない。
確認テスト
オリジナル
13.2-1 定理 13.10 の仮定のもとで、次の2つを示せ。
a > 1 2 a>\frac12 a > 2 1 なら ( S n − n μ ) / n a → P 0 (S_n-n\mu)/n^a\xrightarrow{P}0 ( S n − n μ ) / n a P 0 である。
0 < a < 1 2 0<a<\frac12 0 < a < 2 1 なら、任意の M > 0 M>0 M > 0 で次が成り立つ。
P ( ∣ S n − n μ ∣ n a ≤ M ) → 0 P\Bigl(\frac{\left\vert S_n-n\mu\right\vert }{n^a}\le M\Bigr)\to0 P ( n a ∣ S n − n μ ∣ ≤ M ) → 0
2. 13.2-2 X ∼ P o ( 100 ) X\sim\mathrm{Po}(100) X ∼ Po ( 100 ) について、P ( X ≤ 110 ) P(X\le110) P ( X ≤ 110 ) を連続補正をした正規近似で求めよ。X X X を独立同分布の和として表して、中心極限定理を使う根拠も述べよ。3. 13.2-3 実数を48個足すとき、各数を整数に丸めた誤差を独立な U ( − 1 2 , 1 2 ) \mathrm U(-\frac12,\frac12) U ( − 2 1 , 2 1 ) と考える。丸めた数の和と本当の和の差が絶対値で 3 を超える確率を正規近似で求め、Chebyshev の不等式による上界と比べよ。4. 13.2-4 独立な X k ∼ U ( − k , k ) X_k\sim\mathrm U(-k,k) X k ∼ U ( − k , k ) (k = 1 , 2 , … k=1,2,\dots k = 1 , 2 , … )を考える。Lyapunov の条件を δ = 2 \delta=2 δ = 2 で確かめ、S n / s n → d N ( 0 , 1 ) S_n/s_n\xrightarrow{d}\mathrm N(0,1) S n / s n d N ( 0 , 1 ) を示せ。n = 100 n=100 n = 100 のときの s n s_n s n も求めよ。5. 13.2-5 独立な列が、ある定数 M M M について ∣ X k − μ k ∣ ≤ M \left\vert X_k-\mu_k\right\vert \le M ∣ X k − μ k ∣ ≤ M を満たすとする。さらに s n → ∞ s_n\to\infty s n → ∞ であるとする。Lindeberg 条件 (13.10) が成り立つことを示せ。
AI(Claude)が書いた教材を、木下が勉強しながら公開しています。式と数値は検算していますが、誤りが残っているかもしれません。誤りのご指摘・削除のご依頼をいただければ直します。 連絡先:support@tecktom.com