大数の法則

統計学の復習　第8章 §8.4　★★★ 標本平均は $n\to\infty$ で母平均に近づく。証明は Chebyshev の不等式に $V[\bar X]=\sigma^2/n$ を入れる1行で、近づくのは比率であって個数の差ではない

大数の弱法則

第4章で示した Chebyshev の不等式を1回書いておく。期待値 $\mu$、分散 $\sigma^2$ の確率変数 $Y$ と任意の $\varepsilon>0$ について

$$P\bigl(\lvert Y-\mu\rvert \ge\varepsilon\bigr)\le\frac{\sigma^2}{\varepsilon^2}\tag{8.11}$$

が成り立つ。分布の形が分からなくても、平均と分散だけで「平均から $\varepsilon$ 以上離れる確率」の上限を与える不等式である。

式 (8.12) は、「どんなに小さな幅 $\varepsilon$ を決めても、$n$ を十分大きくすれば、$\bar X_n$ が $\mu$ から $\varepsilon$ 以上離れる確率をいくらでも小さくできる」ことを表す。この型の収束を確率収束と呼ぶ。証明で使ったのは独立性（非対角項が消えること）と分散が有限であることだけで、母集団分布の形は使っていない。

推定量が $n\to\infty$ で母数に確率収束する性質を一致性と呼び、この定理は「標本平均は母平均の一致推定量である」ことを示している（第9章）。確率収束のより一般的な扱いと、より強い型の大数の法則は数理統計の解説 第5章 §5.3 で扱う。

相対度数と確率

成功確率 $p$ のベルヌーイ試行を独立に繰り返し、$i$ 回目が成功なら $X_i=1$、失敗なら $X_i=0$ とする。$\mu=p$、$\sigma^2=p(1-p)$ なので、$n$ 回中の成功の割合 $\hat p_n=\bar X_n$ について

$$P\bigl(\lvert \hat p_n-p\rvert \ge\varepsilon\bigr)\le\frac{p(1-p)}{n\varepsilon^2}\le\frac1{4n\varepsilon^2}$$

となる。最後の不等号は $p(1-p)\le1/4$ による。試行を繰り返すと、成功の相対度数は確率 $p$ に近づく。「確率 $p$ の事象は、繰り返すとおよそ割合 $p$ で起こる」という日常の理解は、この定理によって数学的な裏付けを持つ。

近づくのは割合であって、成功の回数と期待値の差ではない。成功の回数 $S_n=n\hat p_n$ の標準偏差は $\sqrt{np(1-p)}$ で、$n$ とともに大きくなる。公平な硬貨（$p=1/2$）では、表の回数と $n/2$ の差の標準偏差は $n=100$ で $5$、$n=10000$ で $50$ であり、差そのものは広がる。

一方、割合 $\hat p_n$ の標準偏差は $0.05$ から $0.005$ に縮む。差が $\sqrt n$ の速さでしか増えないのに、割合を作るときに $n$ で割るので、割合のぶれは $1/\sqrt n$ の速さで小さくなる。

図 8.1　公平な硬貨を2000回投げたときの表の割合 $\hat p_n$（乱数の種を固定した1本の系列）。灰色の帯は $\hat p_n$ のおよそ95%が入る範囲 $0.5\pm1.96\sqrt{0.25/n}$ で、その幅は $1/\sqrt n$ に比例して狭まる（この系列は $n=75$ 付近で帯の下端に接する）。16回目から150回目あたりまでは表が少なめに出て割合が $0.4$ 前後にとどまるが、その偏りは後の試行で打ち消されるのでなく、試行の数が増えるにつれて割合の中で薄まる。

確認テスト

オリジナル

1. 8.4-1 公平な硬貨を投げる。次の記述の正誤を答え、誤りなら理由を1行で述べよ。(a) 投げる回数を増やすと、表の回数と裏の回数の差は $0$ に近づく。(b) 投げる回数を増やすと、表の割合が $0.5$ から $0.01$ 以上離れる確率は $0$ に近づく。(c) 10回続けて表が出たあとの11回目は、裏が出る確率が $1/2$ より大きい。
2. 8.4-2 母比率 $p$ が分からない2値の母集団から大きさ $n=2500$ の無作為標本を取る。標本比率 $\hat p$ について、$P(\lvert \hat p-p\rvert \ge0.02)$ の上界を、$p$ によらない形で Chebyshev の不等式から求めよ。この確率を $0.1$ 以下と保証するのに必要な $n$ はいくつか。
3. 8.4-3 $U_1,U_2$ を独立に区間 $(0,1)$ の一様分布に従う確率変数とし、$U_1^2+U_2^2\le1$ なら $1$、そうでなければ $0$ をとる確率変数を $B$ とする。$E[B]=\pi/4$ を示し、$V[B]$ を求めよ。この組を独立に $n$ 回作り、$B$ の標本平均の4倍で $\pi$ を推定する。誤差が $0.01$ 以上になる確率を $0.05$ 以下と Chebyshev の不等式で保証するには、$n$ はいくつ以上必要か。
4. 8.4-4 無作為標本 $X_1,\dots,X_n$ の母平均 $\mu$ が既知で、$E[(X-\mu)^4]=\mu_4$ が有限とする。$T_n=\frac1n\sum_{i=1}^n(X_i-\mu)^2$ について $E[T_n]=\sigma^2$、$V[T_n]=(\mu_4-\sigma^4)/n$ を示し、$T_n$ が $\sigma^2$ に確率収束することを示せ。