tecktom.com

中心極限定理

2026年10月15日19分で読めますAI生成教科書『基礎理論』第13章 中心極限定理
目次
  1. 独立同分布の場合
  2. 同分布でない場合と Lindeberg 条件
  3. 確認テスト
  4. 木下の層

AI 生成・木下が未勉強

確率論入門 第13章 §13.2 ★★★ 独立同分布で分散が有限なら、標準化した和は標準正規分布に分布収束する。同分布でない場合は Lindeberg 条件がその十分条件になる

独立同分布の場合

定理 13.10(中心極限定理(Lindeberg–Lévy))

X1,X2,…X_1,X_2,\dots を独立同分布とし、次を仮定する。

E[X1]=μ,0<V[X1]=σ2<∞.E[X_1]=\mu,\qquad0<V[X_1]=\sigma^2<\infty.

このとき (13.1) の ZnZ_n について

Zn=Sn−nμσn→dN(0,1)(13.8)Z_n=\frac{S_n-n\mu}{\sigma\sqrt n}\xrightarrow{d}\mathrm N(0,1)\tag{13.8}

が成り立つ。すなわち、すべての x∈Rx\in\mathbb{R} で P(Zn≤x)→Φ(x)P(Z_n\le x)\to\Phi(x) である。

証明

Yk=(Xk−μ)/σY_k=(X_k-\mu)/\sigma と置く。YkY_k は独立同分布で、

E[Yk]=0,E[Yk2]=1,Zn=Y1+⋯+YnnE[Y_k]=0,\qquad E[Y_k^2]=1,\qquad Z_n=\frac{Y_1+\cdots+Y_n}{\sqrt n}

である。ψ=φY1\psi=\varphi_{Y_1} と書くと、(13.2) から

ψ(s)=1−s22+s2ρ(s),ρ(s)→0 (s→0)\psi(s)=1-\frac{s^2}{2}+s^2\rho(s),\qquad\rho(s)\to0\ (s\to0)

と書ける(s≠0s\ne0 で ρ(s)=(ψ(s)−1+s2/2)/s2\rho(s)=(\psi(s)-1+s^2/2)/s^2 と定めればよい)。独立和の特性関数は積で、φaY(t)=φY(at)\varphi_{aY}(t)=\varphi_Y(at) である。そこで t≠0t\ne0 を固定すると

φZn(t)=ψ(tn)n=(1+cnn)n,cn=n(ψ(tn)−1)=−t22+t2ρ(tn)\varphi_{Z_n}(t)=\psi\Bigl(\frac{t}{\sqrt n}\Bigr)^n=\Bigl(1+\frac{c_n}{n}\Bigr)^n,\qquad c_n=n\Bigl(\psi\Bigl(\frac{t}{\sqrt n}\Bigr)-1\Bigr)=-\frac{t^2}{2}+t^2\rho\Bigl(\frac{t}{\sqrt n}\Bigr)

である。n→∞n\to\infty で t/n→0t/\sqrt n\to0 なので、次が成り立つ。

cn→−t22c_n\to-\frac{t^2}2補題 13.9 から φZn(t)→e−t2/2\varphi_{Z_n}(t)\to\mathrm{e}^{-t^2/2} を得る。t=0t=0 では両辺が 1 である。

e−t2/2\mathrm{e}^{-t^2/2} は N(0,1)\mathrm N(0,1) の特性関数(第8章)である。定理 13.7 (ii) から Zn→dN(0,1)Z_n\xrightarrow{d}\mathrm N(0,1) である。Φ\Phi はいたるところ連続なので、分布関数の収束はすべての xx で成り立つ。

証明の中で使ったのは、特性関数の 2 次までの展開だけである。元の分布の3次以上の情報(歪み・尖り)は o(s2)o(s^2) の中に入り、n→∞n\to\infty で消える。これが極限が分布によらない理由である。図 13.2 は、強く歪んだ指数分布から出発しても、和を標準化すると正規分布の形に近づく様子を示す。

図

図 13.2 Xk∼Ex(1)X_k\sim\mathrm{Ex}(1) のとき、Zn=(Sn−n)/nZ_n=(S_n-n)/\sqrt n の密度(Sn∼Ga(n,1)S_n\sim\mathrm{Ga}(n,1) の密度を変数変換したもの)。n=1,4,16n=1,4,16 と大きくなるにつれ、赤の破線の標準正規分布の密度 ϕ\phi に近づく。n=16n=16 でも山がやや左に寄っているのは、ZnZ_n の歪度 2/n2/\sqrt n(第8章 §8.4)が 0.5 残っているためである。

二項分布は独立な Bernoulli 確率変数の和なので、定理から次の系がすぐに出る。

系 13.11(de Moivre–Laplace の定理)

0<p<10<p<1 を固定し、Sn∼Bin(n,p)S_n\sim\mathrm{Bin}(n,p) とする。このとき Sn−npnp(1−p)→dN(0,1)\dfrac{S_n-np}{\sqrt{np(1-p)}}\xrightarrow{d}\mathrm N(0,1) である。

整数値の分布の近似(連続補正)

  • SnS_n を整数値とする。このとき事象 {Sn≤k}\{S_n\le k\} と事象 {Sn<k+1}\{S_n<k+1\} は等しい。ところが正規近似でそれぞれ

Φ(k−nμσn),Φ(k+1−nμσn)\Phi\Bigl(\frac{k-n\mu}{\sigma\sqrt n}\Bigr),\qquad\Phi\Bigl(\frac{k+1-n\mu}{\sigma\sqrt n}\Bigr)

を使うと値が異なる。

  • 正規分布の密度で確率関数を近似すると、整数 kk の確率は区間 [k−12,k+12][k-\frac12,k+\frac12] の面積に対応する。そこで次のように半目盛りずらすと、近似が改善することが多い。

P(Sn≤k)≈Φ(k+12−nμσn)P(S_n\le k)\approx\Phi\Bigl(\frac{k+\frac12-n\mu}{\sigma\sqrt n}\Bigr)

これを連続補正と呼ぶ。

  • 中心極限定理そのものは n→∞n\to\infty の極限の主張であり、連続補正は有限の nn での近似の工夫である。両者の差は n→∞n\to\infty で 0 になる。

例題 13.2 サイコロの1の目の回数の正規近似 ★★

オリジナル公正なサイコロを 720 回投げ、1の目が出た回数を SS とする。

  1. (1) SS の期待値と標準偏差を求めよ。
  2. (2) P(S≥135)P(S\ge135) を、連続補正をした正規近似と、連続補正をしない正規近似で求めよ。
  3. (3) 二項分布で計算した正確な値 P(S≥135)≈0.0751P(S\ge135)\approx0.0751 と比べ、どちらが近いかを述べよ。
解答

(1) S∼Bin(720,16)S\sim\mathrm{Bin}(720,\frac16) なので

E[S]=720⋅16=120,V[S]=720⋅16⋅56=100E[S]=720\cdot\frac16=120,\qquad V[S]=720\cdot\frac16\cdot\frac56=100

で、標準偏差は 10 である。

(2) 系 13.11 から (S−120)/10(S-120)/10 は近似的に N(0,1)\mathrm N(0,1) に従う。SS は整数値なので P(S≥135)=P(S>134.5)P(S\ge135)=P(S>134.5) であり、連続補正をすると

P(S≥135)≈1−Φ(134.5−12010)=1−Φ(1.45)≈0.0735P(S\ge135)\approx1-\Phi\Bigl(\frac{134.5-120}{10}\Bigr)=1-\Phi(1.45)\approx0.0735

である。連続補正をしないと

P(S≥135)≈1−Φ(135−12010)=1−Φ(1.5)≈0.0668P(S\ge135)\approx1-\Phi\Bigl(\frac{135-120}{10}\Bigr)=1-\Phi(1.5)\approx0.0668

である。

(3) 正確な値 0.0751 との差は、連続補正をした方が 0.0016、しない方が 0.0083 であり、連続補正をした方が5倍ほど近い。残る差は主に分布の歪みによる。Bin(720,16)\mathrm{Bin}(720,\frac16) の歪度は (q−p)/npq=(2/3)/10≈0.067(q-p)/\sqrt{npq}=(2/3)/10\approx0.067 で正なので、右の裾が正規分布よりわずかに厚く、近似は裾の確率をやや小さく見積もる。

同分布でない場合と Lindeberg 条件

物理の測定誤差のように、多数の独立な寄与の和であっても、寄与の大きさがそろっていない場合がある。このときも、1つ1つの寄与が全体に比べて小さければ、和は正規分布に近づく。この「どの寄与も全体を支配しない」という条件を正確に述べたものが Lindeberg 条件である。各 nn ごとに別の確率変数の組を考える三角配列の形で述べる。

定理 13.12(Lindeberg の中心極限定理)

各 nn について Xn,1,…,Xn,knX_{n,1},\dots,X_{n,k_n} は独立で、次を満たすとする。

E[Xn,k]=0,σn,k2=E[Xn,k2]<∞,∑k=1knσn,k2=1.E[X_{n,k}]=0,\qquad\sigma_{n,k}^2=E[X_{n,k}^2]<\infty,\qquad\sum_{k=1}^{k_n}\sigma_{n,k}^2=1.

任意の ε>0\varepsilon >0 について

Ln(ε)=∑k=1knE[Xn,k21{∣Xn,k∣>ε}]→0(n→∞)(13.9)L_n(\varepsilon )=\sum_{k=1}^{k_n}E\bigl[X_{n,k}^2\mathbf 1_{\{\left\vert X_{n,k}\right\vert >\varepsilon \}}\bigr]\to0\qquad(n\to\infty)\tag{13.9}

(Lindeberg 条件)が成り立つならば、Sn=∑k=1knXn,k→dN(0,1)S_n=\sum_{k=1}^{k_n}X_{n,k}\xrightarrow{d}\mathrm N(0,1) である。

証明

tt を固定し、次のように書く。

φn,k=φXn,k,an,k=t2σn,k22.\varphi_{n,k}=\varphi_{X_{n,k}},\qquad a_{n,k}=\frac{t^2\sigma_{n,k}^2}{2}.

第1段(個々の分散は小さい)。ε>0\varepsilon >0 について

σn,k2=E[Xn,k21{∣Xn,k∣≤ε}]+E[Xn,k21{∣Xn,k∣>ε}]≤ε2+Ln(ε)\sigma_{n,k}^2=E\bigl[X_{n,k}^2\mathbf 1_{\{\left\vert X_{n,k}\right\vert \le\varepsilon \}}\bigr]+E\bigl[X_{n,k}^2\mathbf 1_{\{\left\vert X_{n,k}\right\vert >\varepsilon \}}\bigr]\le\varepsilon ^2+L_n(\varepsilon )

なので、lim sup⁡nmax⁡kσn,k2≤ε2\limsup_n\max_k\sigma_{n,k}^2\le\varepsilon ^2 である。ε\varepsilon は任意だから max⁡kσn,k2→0\max_k\sigma_{n,k}^2\to0 である。したがって十分大きな nn で max⁡kan,k≤1\max_ka_{n,k}\le1 となる。以下この nn を考える。

第2段(特性関数の2次近似)。(13.3) で x=tXn,kx=tX_{n,k} とし、期待値をとる。E[Xn,k]=0E[X_{n,k}]=0 なので

∣φn,k(t)−(1−an,k)∣≤E[min⁡(∣tXn,k∣36, t2Xn,k2)]≤ε∣t∣36σn,k2+t2E[Xn,k21{∣Xn,k∣>ε}]\bigl|\varphi_{n,k}(t)-(1-a_{n,k})\bigr|\le E\Bigl[\min\Bigl(\frac{\left\vert tX_{n,k}\right\vert ^3}{6},\,t^2X_{n,k}^2\Bigr)\Bigr] \le\frac{\varepsilon \left\vert t\right\vert ^3}{6}\sigma_{n,k}^2+t^2E\bigl[X_{n,k}^2\mathbf 1_{\{\left\vert X_{n,k}\right\vert >\varepsilon \}}\bigr]

である。ここで使ったのは次の2つである。

  • ∣Xn,k∣≤ε\left\vert X_{n,k}\right\vert \le\varepsilon の上では ∣tXn,k∣3≤ε∣t∣3Xn,k2\left\vert tX_{n,k}\right\vert ^3\le\varepsilon \left\vert t\right\vert ^3X_{n,k}^2 である。
  • ∣Xn,k∣>ε\left\vert X_{n,k}\right\vert >\varepsilon の上では min⁡\min の第2項で抑える。

∣φn,k∣≤1\left\vert \varphi_{n,k}\right\vert \le1 と ∣1−an,k∣≤1\left\vert 1-a_{n,k}\right\vert \le1 が成り立つ。補題 13.8 を θ=1\theta=1 で使うと

∣∏kφn,k(t)−∏k(1−an,k)∣≤ε∣t∣36+t2Ln(ε)\Bigl|\prod_k\varphi_{n,k}(t)-\prod_k(1-a_{n,k})\Bigr|\le\frac{\varepsilon \left\vert t\right\vert ^3}{6}+t^2L_n(\varepsilon )

である。

第3段(指数関数への置き換え)。0≤a≤10\le a\le1 では

0≤e−a−(1−a)≤a220\le\mathrm{e}^{-a}-(1-a)\le\frac{a^2}{2}

が成り立つ(e−a\mathrm{e}^{-a} の Taylor 展開は交代級数で、項の絶対値が減少する)。再び補題 13.8 から

∣∏k(1−an,k)−∏ke−an,k∣≤∑kan,k22≤12max⁡kan,k∑kan,k=t24max⁡kan,k→0\Bigl|\prod_k(1-a_{n,k})-\prod_k\mathrm{e}^{-a_{n,k}}\Bigr|\le\sum_k\frac{a_{n,k}^2}{2}\le\frac12\max_ka_{n,k}\sum_ka_{n,k}=\frac{t^2}{4}\max_ka_{n,k}\to0

である。∏ke−an,k=exp⁡(−t22∑kσn,k2)=e−t2/2\prod_k\mathrm{e}^{-a_{n,k}}=\exp(-\frac{t^2}{2}\sum_k\sigma_{n,k}^2)=\mathrm{e}^{-t^2/2} なので、第2段と合わせて

lim sup⁡n∣φSn(t)−e−t2/2∣≤ε∣t∣36\limsup_n\bigl|\varphi_{S_n}(t)-\mathrm{e}^{-t^2/2}\bigr|\le\frac{\varepsilon \left\vert t\right\vert ^3}{6}

を得る。ε\varepsilon は任意なので φSn(t)→e−t2/2\varphi_{S_n}(t)\to\mathrm{e}^{-t^2/2} であり、定理 13.7 から結論を得る。

独立な列 X1,X2,…X_1,X_2,\dots に使うときは、次のように置く。

E[Xk]=μk,V[Xk]=σk2,sn2=∑k=1nσk2>0,Xn,k=Xk−μksn.E[X_k]=\mu_k,\qquad V[X_k]=\sigma_k^2,\qquad s_n^2=\sum_{k=1}^n\sigma_k^2>0,\qquad X_{n,k}=\frac{X_k-\mu_k}{s_n}.

条件 (13.9) は

1sn2∑k=1nE[(Xk−μk)21{∣Xk−μk∣>εsn}]→0(13.10)\frac1{s_n^2}\sum_{k=1}^nE\bigl[(X_k-\mu_k)^2\mathbf 1_{\{\left\vert X_k-\mu_k\right\vert >\varepsilon s_n\}}\bigr]\to0\tag{13.10}

となり、結論は (Sn−∑k≤nμk)/sn→dN(0,1)\bigl(S_n-\sum_{k\le n}\mu_k\bigr)/s_n\xrightarrow{d}\mathrm N(0,1) である。独立同分布なら左辺は σ−2E[(X1−μ)21{∣X1−μ∣>εσn}]\sigma^{-2}E[(X_1-\mu)^2\mathbf 1_{\{\left\vert X_1-\mu\right\vert >\varepsilon \sigma\sqrt n\}}] で、優収束定理から 0 に収束するので、定理 13.10 は定理 13.12 の特別な場合である。

Lindeberg 条件は確かめにくいことがあるので、より高いモーメントを使う十分条件がよく使われる。

系 13.13(Lyapunov の条件)

独立な列について、ある δ>0\delta>0 で

1sn2+δ∑k=1nE[∣Xk−μk∣2+δ]→0(13.11)\frac{1}{s_n^{2+\delta}}\sum_{k=1}^nE\bigl[\left\vert X_k-\mu_k\right\vert ^{2+\delta}\bigr]\to0\tag{13.11}

が成り立てば、(13.10) が成り立ち、(Sn−∑kμk)/sn→dN(0,1)\bigl(S_n-\sum_k\mu_k\bigr)/s_n\xrightarrow{d}\mathrm N(0,1) である。

証明

Y=Xk−μkY=X_k-\mu_k と書く。∣Y∣>εsn\left\vert Y\right\vert >\varepsilon s_n の上では (∣Y∣/(εsn))δ>1(\left\vert Y\right\vert /(\varepsilon s_n))^\delta>1 なので、

Y2≤∣Y∣2+δ(εsn)δY^2\le\frac{\left\vert Y\right\vert ^{2+\delta}}{(\varepsilon s_n)^\delta}

である。したがって (13.10) の左辺は

ε−δsn−(2+δ)∑kE∣Xk−μk∣2+δ\varepsilon ^{-\delta}s_n^{-(2+\delta)}\sum_kE\left\vert X_k-\mu_k\right\vert ^{2+\delta}

以下で、0 に収束する。

逆向きの主張と収束の速さ

  • Feller の定理(主張のみ)。max⁡k≤nσk2/sn2→0\max_{k\le n}\sigma_k^2/s_n^2\to0 のもとで中心極限定理が成り立つならば、Lindeberg 条件も成り立つ。この意味で、個々の寄与が無視できる状況では Lindeberg 条件は必要十分である。
  • Berry–Esseen の定理(主張のみ)。独立同分布で ρ=E∣X1−μ∣3<∞\rho=E\left\vert X_1-\mu\right\vert ^3<\infty とする。ある普遍定数 CC について次が成り立つ。

sup⁡x∣P(Zn≤x)−Φ(x)∣≤Cρσ3n\sup_x\left\vert P(Z_n\le x)-\Phi(x)\right\vert \le\frac{C\rho}{\sigma^3\sqrt n} CC は 0.48 より小さくとれることが知られている。誤差は一般に 1/n1/\sqrt n の速さでしか減らない。

  • 分散が無限の場合は定理の前提が崩れる。Cauchy 分布の標本平均は nn によらず Cauchy 分布に従い(第9章 §9.3)、どう標準化しても正規分布には近づかない。

例題 13.3 記録更新の回数 ★★

オリジナル独立な確率変数 I1,I2,…I_1,I_2,\dots が次を満たすとする。

P(Ik=1)=1k,P(Ik=0)=1−1kP(I_k=1)=\frac1k,\qquad P(I_k=0)=1-\frac1k

Rn=I1+⋯+InR_n=I_1+\cdots+I_n と置く。(独立同分布で連続分布に従う観測値 ξ1,ξ2,…\xi_1,\xi_2,\dots を順に見る。ξk\xi_k がそれまでの最大値を更新する事象の指示関数は、ちょうどこの分布をもち、互いに独立であることが知られている。RnR_n は nn 個の中の記録更新の回数である。)

  1. (1) E[Rn]E[R_n] と V[Rn]V[R_n] を求めよ。また n→∞n\to\infty で V[Rn]→∞V[R_n]\to\infty を示せ。
  2. (2) Lindeberg 条件 (13.10) を確かめ、次を示せ。

Rn−E[Rn]V[Rn]→dN(0,1)\frac{R_n-E[R_n]}{\sqrt{V[R_n]}}\xrightarrow{d}\mathrm N(0,1) 3. (3) n=106n=10^6 のときの期待値と標準偏差 V[Rn]\sqrt{V[R_n]} を数値で求めよ。また正規近似で確率およそ 0.95 の範囲 E[Rn]±1.96V[Rn]E[R_n]\pm1.96\sqrt{V[R_n]} を求めよ。

解答

(1) E[Ik]=1kE[I_k]=\frac1k、V[Ik]=1k(1−1k)V[I_k]=\frac1k(1-\frac1k) なので、

E[Rn]=Hn=∑k=1n1k,sn2=V[Rn]=∑k=1n(1k−1k2)=Hn−∑k=1n1k2E[R_n]=H_n=\sum_{k=1}^n\frac1k,\qquad s_n^2=V[R_n]=\sum_{k=1}^n\Bigl(\frac1k-\frac1{k^2}\Bigr)=H_n-\sum_{k=1}^n\frac1{k^2}

である。Hn≥log⁡(n+1)→∞H_n\ge\log(n+1)\to\infty である。一方 ∑1/k2≤π2/6\sum1/k^2\le\pi^2/6 は有界なので、sn2→∞s_n^2\to\infty である。

(2) ∣Ik−1k∣≤1\left\vert I_k-\frac1k\right\vert \le1 である。ε>0\varepsilon >0 を与える。

sn→∞s_n\to\infty なので、十分先の番号では εsn>1\varepsilon s_n>1 となる。このとき事象 {∣Ik−1/k∣>εsn}\{\left\vert I_k-1/k\right\vert >\varepsilon s_n\} はすべての k≤nk\le n で空である。したがって (13.10) の左辺はある nn から先で 0 に等しく、Lindeberg 条件が成り立つ。定理 13.12 から (Rn−Hn)/sn→dN(0,1)(R_n-H_n)/s_n\xrightarrow{d}\mathrm N(0,1) である。

(3) 数値計算で

H106≈14.393,∑k≤1061k2≈1.645H_{10^6}\approx14.393,\qquad\sum_{k\le10^6}\frac1{k^2}\approx1.645

なので、sn2≈12.748s_n^2\approx12.748、sn≈3.570s_n\approx3.570 である。範囲は

14.393±1.96×3.570≈[7.39, 21.39]14.393\pm1.96\times3.570\approx[7.39,\ 21.39]

となる。100万個の観測値があっても、記録の更新はおよそ7回から21回のあいだにとどまる。平均が log⁡n\log n の程度でしか増えないのに、ゆらぎの大きさが log⁡n\sqrt{\log n} の程度あるので、相対的なゆらぎは小さくならない。

確認テスト

オリジナル

  1. 13.2-1 定理 13.10 の仮定のもとで、次の2つを示せ。

    • a>12a>\frac12 なら (Sn−nμ)/na→P0(S_n-n\mu)/n^a\xrightarrow{P}0 である。
    • 0<a<120<a<\frac12 なら、任意の M>0M>0 で次が成り立つ。

P(∣Sn−nμ∣na≤M)→0P\Bigl(\frac{\left\vert S_n-n\mu\right\vert }{n^a}\le M\Bigr)\to0 2. 13.2-2 X∼Po(100)X\sim\mathrm{Po}(100) について、P(X≤110)P(X\le110) を連続補正をした正規近似で求めよ。XX を独立同分布の和として表して、中心極限定理を使う根拠も述べよ。3. 13.2-3 実数を48個足すとき、各数を整数に丸めた誤差を独立な U(−12,12)\mathrm U(-\frac12,\frac12) と考える。丸めた数の和と本当の和の差が絶対値で 3 を超える確率を正規近似で求め、Chebyshev の不等式による上界と比べよ。4. 13.2-4 独立な Xk∼U(−k,k)X_k\sim\mathrm U(-k,k)(k=1,2,…k=1,2,\dots)を考える。Lyapunov の条件を δ=2\delta=2 で確かめ、Sn/sn→dN(0,1)S_n/s_n\xrightarrow{d}\mathrm N(0,1) を示せ。n=100n=100 のときの sns_n も求めよ。5. 13.2-5 独立な列が、ある定数 MM について ∣Xk−μk∣≤M\left\vert X_k-\mu_k\right\vert \le M を満たすとする。さらに sn→∞s_n\to\infty であるとする。Lindeberg 条件 (13.10) が成り立つことを示せ。

木下の勉強ステータス

木下はまだこの記事を勉強していません。

AI(Claude)が書いた教材を、木下が勉強しながら公開しています。式と数値は検算していますが、誤りが残っているかもしれません。誤りのご指摘・削除のご依頼をいただければ直します。 連絡先:support@tecktom.com

← AI生成教科書『基礎理論』の記事一覧へ