確率変数と確率分布の収束

数理統計　第5章 §5.3　★★★ 確率収束・分布収束、大数の法則、中心極限定理、Slutsky、デルタ法。近似分布と漸近的な信頼区間の基礎

正規母集団でなければ、統計量の厳密な分布はたいてい求まらない。そこで標本の大きさ $n$ を大きくしたときの極限の分布で近似する。この節では、まず「確率変数の列が収束する」ことの意味を定め、次に統計で繰り返し使う4つの定理（大数の法則、中心極限定理、Slutsky の定理、デルタ法）を示す。

収束の種類

このほかに、確率1で数列として収束する概収束がある（強い意味の収束で、強大数の法則がこの形）。1級の範囲では確率収束と分布収束を使い分けられれば足りる。

強さの関係は「平均二乗収束 $\Rightarrow$ 確率収束 $\Rightarrow$ 分布収束」で、逆は一般には成り立たない。ただし極限が定数 $c$ のときは分布収束と確率収束は同じになる（確認テスト 5.3-5）。

分布収束の定義で連続点に限る理由を例で見る。$T_n=1/n$（定数）は0に収束する。ところが $P(T_n\le0)=0$ は $F_0(0)=1$ に収束しない。不連続点0を除外しないと、この自然な収束が収束にならない。

Chebyshev の不等式と大数の法則

証明

$\bm 1\{\cdot\}$ を事象の指示関数とする。$Y\ge0$ なので、次の不等式が常に成り立つ。

$$Y\ge a\cdot\bm 1\{Y\ge a\}.$$

期待値をとれば $E[Y]\ge aP(Y\ge a)$。Chebyshev は $Y=(X-E[X])^2$、$a=\varepsilon^2$ とおけばよい。

証明

Chebyshev の不等式 (5.11) に $V[\bar X]=\sigma^2/n$ を入れると

$$P(|\bar X-\mu|\ge\varepsilon)\le\frac{\sigma^2}{n\varepsilon^2}\to0 .$$

（分散が有限でなくても平均が存在すれば成り立つが、その証明は特性関数か切断の議論が要る。試験では上の形で十分である。）大数の法則を $X_i^2$ に使えば $\frac1n\sum X_i^2\xrightarrow{P}E[X^2]$ となる。これと恒等式 (5.3)、次の連続写像定理から $S^2\xrightarrow{P}\sigma^2$ も出る（4次の積率が無くても成り立つ）。

極限が定数 $c$ で、$g$ がその点で連続な場合を考える。この場合の確率収束の主張は、$\varepsilon$-$\delta$ で直ちに示せる。$g$ は $c$ で連続である。よって任意の $\varepsilon$ に対し、次を満たす $\delta$ がある。

$$|t-c|\le\delta\ \Rightarrow\ |g(t)-g(c)|\le\varepsilon .$$

よって $P(|g(T_n)-g(c)|>\varepsilon)\le P(|T_n-c|>\delta)\to0$。

一般の場合の証明は測度論の道具を使うので省く。1級で使うのはほとんど極限が定数の場合である。

中心極限定理

証明

積率母関数が0の近くで存在する場合に示す（一般の場合は特性関数で同じ計算をする）。$Y_i=(X_i-\mu)/\sigma$ とおく。すると $E[Y_i]=0$、$V[Y_i]=1$ である。このとき

$$Z_n=\frac{\sqrt n(\bar X-\mu)}{\sigma}=\frac{1}{\sqrt n}\sum Y_i .$$

独立性から

$$M_{Z_n}(u)=\Bigl\{M_Y\Bigl(\frac{u}{\sqrt n}\Bigr)\Bigr\}^n .$$

$M_Y(s)$ を $s=0$ のまわりで Taylor 展開する。係数は次のとおりである。

$$M_Y(0)=1,\qquad M_Y'(0)=E[Y]=0,\qquad M_Y''(0)=E[Y^2]=1 .$$

よって $M_Y(s)=1+s^2/2+r(s)$ と書ける。ただし $s\to0$ で $r(s)/s^2\to0$ である。$s=u/\sqrt n$ を入れて対数をとると

$$\log M_{Z_n}(u)=n\log\Bigl\{1+\frac{u^2}{2n}+r\Bigl(\frac{u}{\sqrt n}\Bigr)\Bigr\}.$$

ここで次の2つを使う。

$$\log(1+h)=h+\mathcal{O}(h^2),\qquad n\,r\Bigl(\frac{u}{\sqrt n}\Bigr)=u^2\cdot\frac{r(u/\sqrt n)}{(u/\sqrt n)^2}\to0 .$$

すると右辺は $u^2/2$ に収束する。$\mathrm{e}^{u^2/2}$ は $\mathrm{N}(0,1)$ の積率母関数である。積率母関数が0の近傍で各点収束すれば分布が収束する（積率母関数の連続性定理）ので、(5.12) を得る。

中心極限定理は「$\bar X$ はおよそ $\mathrm{N}(\mu,\sigma^2/n)$ に従う」と使う。これを和で書けば $\sum X_i$ はおよそ $\mathrm{N}(n\mu,n\sigma^2)$ である。

二項分布の正規近似と連続修正。

$X\sim\mathrm{Bin}(n,p)$ はベルヌーイの和である。よって $(X-np)/\sqrt{np(1-p)}$ はおよそ $\mathrm{N}(0,1)$ に従う。$X$ は整数値である。そのため $P(X\ge k)$ を近似するときは、区間 $[k-\frac12,k+\frac12)$ の幅を考えて

$$P(X\ge k)\approx1-\Phi\Bigl(\frac{k-\frac12-np}{\sqrt{np(1-p)}}\Bigr)$$

とする。これを連続修正という。

ポアソン分布 $\mathrm{Po}(\lambda)$ も、$\lambda$ が大きければ正規分布で近似できる。$\mathrm{Po}(\lambda)$ を、$\mathrm{Po}(1)$ に従う独立な変数の和と見る。項の数は $\lambda$ 個である（整数でなくても再生性から同じ）。そうして $\mathrm{N}(\lambda,\lambda)$ で近似する。

二項分布のポアソン近似。

$np=\lambda$ を一定に保って $n\to\infty$ とする。このとき $\mathrm{Bin}(n,\lambda/n)$ の確率関数は

$$\binom nk\Bigl(\frac\lambda n\Bigr)^k\Bigl(1-\frac\lambda n\Bigr)^{n-k} =\frac{\lambda^k}{k!}\cdot\frac{n(n-1)\cdots(n-k+1)}{n^k}\cdot\Bigl(1-\frac\lambda n\Bigr)^{n}\Bigl(1-\frac\lambda n\Bigr)^{-k} \to\frac{\lambda^k}{k!}\mathrm{e}^{-\lambda}$$

となる（第2因子と第4因子は1に、第3因子は $\mathrm{e}^{-\lambda}$ に収束する）。これは中心極限定理とは別の極限で、まれな事象の回数の近似に使う。

Slutsky の定理とデルタ法

証明

和の場合を示す。$X$ の分布関数を $F_X$ とする。$F_X$ の連続点を1つとり、それを $x-c$ と書く。さらに $\varepsilon>0$ を、$x-c\pm\varepsilon$ も連続点になるように選ぶ（不連続点は高々可算個なので選べる）。

2つの事象 $X_n+Y_n\le x$ と $|Y_n-c|\le\varepsilon$ が同時に起きるとする。このとき $X_n\le x-c+\varepsilon$ なので

$$P(X_n+Y_n\le x)\le P(X_n\le x-c+\varepsilon)+P(|Y_n-c|>\varepsilon).$$

逆に、$X_n\le x-c-\varepsilon$ と $|Y_n-c|\le\varepsilon$ が同時に起きるとする。このとき $X_n+Y_n\le x$ なので

$$P(X_n+Y_n\le x)\ge P(X_n\le x-c-\varepsilon)-P(|Y_n-c|>\varepsilon).$$

$n\to\infty$ とすると $P(|Y_n-c|>\varepsilon)\to0$ である。よって上極限と下極限は次を満たす。

$$\limsup_{n\to\infty}P(X_n+Y_n\le x)\le F_X(x-c+\varepsilon),\qquad \liminf_{n\to\infty}P(X_n+Y_n\le x)\ge F_X(x-c-\varepsilon).$$

$\varepsilon\to0$ とする。$F_X$ は $x-c$ で連続なので

$$P(X_n+Y_n\le x)\to F_X(x-c)=P(X+c\le x).$$

積と商も、$|Y_n-c|\le\varepsilon$ の事象とその余事象に分けて同じ形で評価できる。

Slutsky の定理は、中心極限定理の $\sigma$ を推定量で置き換えるときに使う。分散が有限な任意の母集団で、$S\xrightarrow{P}\sigma$ なので

$$\frac{\sqrt n(\bar X-\mu)}{S}=\frac{\sqrt n(\bar X-\mu)}{\sigma}\cdot\frac{\sigma}{S}\xrightarrow{d}\mathrm{N}(0,1).\tag{5.13}$$

正規母集団なら左辺は厳密に $t_{n-1}$ に従い（系5.8）、正規でなくても $n$ が大きければ近似的に標準正規に従う。

証明

まず $T_n\xrightarrow{P}\theta$ を確かめる。次のように分解する。

$$T_n-\theta=\frac{1}{\sqrt n}\cdot\sqrt n(T_n-\theta).$$

第1因子は0に収束し、第2因子は分布収束する。よって Slutsky の定理（積）から $T_n-\theta\xrightarrow{d}0$ である。極限が定数なので、これは $T_n\xrightarrow{P}\theta$ と同じである。

平均値の定理から、ある点 $\theta_n^*$ で次が成り立つ。

$$\sqrt n\{g(T_n)-g(\theta)\}=g'(\theta_n^*)\cdot\sqrt n(T_n-\theta).$$

ここで $\theta_n^*$ は $T_n$ と真値の間の点である。$|\theta_n^*-\theta|\le|T_n-\theta|$ なので $\theta_n^*\xrightarrow{P}\theta$ である。$g'$ の連続性と連続写像定理から $g'(\theta_n^*)\xrightarrow{P}g'(\theta)$。Slutsky の定理（積）を使えば右辺は $g'(\theta)\cdot\mathrm{N}(0,\tau^2)=\mathrm{N}(0,g'(\theta)^2\tau^2)$ に分布収束する。

確認テスト

オリジナル

1. 5.3-1 $P(T_n=n)=1/n$、$P(T_n=0)=1-1/n$ とする。$T_n\xrightarrow{P}0$ を示し、$E[T_n]$ が0に収束しないことを確かめよ。
2. 5.3-2 $X_1,\dots,X_n$ を $\mathrm{Po}(\lambda)$ からの無作為標本とする。$\sqrt n(\bar X-\lambda)/\sqrt{\bar X}\xrightarrow{d}\mathrm{N}(0,1)$ を示せ。
3. 5.3-3 成功確率 $p$ のベルヌーイ標本で、$\sqrt n\{\bar X(1-\bar X)-p(1-p)\}$ の極限分布をデルタ法で求めよ。$p=1/2$ のとき何が起きるか述べよ。
4. 5.3-4 $X\sim\mathrm{Po}(100)$ のとき、$P(X\le90)$ を連続修正つきの正規近似で求めよ。
5. 5.3-5 $c$ を定数とする。$T_n\xrightarrow{d}c$ なら $T_n\xrightarrow{P}c$ であることを示せ。