弱法則

確率論入門　第12章 §12.1　★★★ 分散の有限性と Chebyshev の不等式だけで、標本平均が期待値に確率収束することを示す。独立性は無相関、さらに相関の減衰まで弱められる

硬貨を何度も投げると、表の出た割合は 1/2 の近くに落ち着いていく。この経験的な事実を確率論の言葉で述べたものが大数の法則である。確率空間 $(\Omega,\mathcal F,P)$ の上に確率変数の列 $X_1,X_2,\dots$ をとる。部分和と標本平均を

$$S_n=X_1+X_2+\cdots+X_n,\qquad \bar X_n=\frac{S_n}{n}\tag{12.1}$$

と書く。大数の法則は、各項が独立で同じ期待値 $\mu$ をもつとき、標本平均が $\mu$ に収束するという主張である。収束の意味を確率収束にとったものを弱法則、概収束にとったものを強法則と呼ぶ。

この章で作るものは4つある。

1. §12.1 では、Chebyshev の不等式から弱法則を示す。独立性を「相関が弱い」まで弱めた形と、期待値の存在だけを仮定した形（Khinchin の弱法則）へ広げる。
2. §12.2 では、4次モーメントを仮定して強法則を Borel–Cantelli の補題から証明する。Kolmogorov の強法則（期待値が有限であることが必要十分）も述べる。
3. §12.3 では、独立な確率変数の級数 $\sum_nX_n$ がいつ収束するかを調べる。その結果から Kolmogorov の強法則の証明を完成させる。
4. §12.4 では、期待値を標本平均で近似する Monte Carlo 積分と、標本から分布関数を推定する経験分布関数に強法則を使う。

前の章から借りる結果を、式の形で先に書いておく。第10章 §10.1 の Markov の不等式と Chebyshev の不等式は、正の数 $a,r,\varepsilon$ について

$$P(\left\vert Y\right\vert \ge a)\le\frac{E[\left\vert Y\right\vert ^r]}{a^r},\qquad P(\left\vert Y-E[Y]\right\vert \ge\varepsilon )\le\frac{V[Y]}{\varepsilon ^2}\tag{12.2}$$

である。第10章 §10.4 の Kolmogorov の不等式は、次を主張する。独立で $E[X_k]=0$、$E[X_k^2]<\infty$ の確率変数について

$$P\Bigl(\max_{1\le k\le n}\left\vert S_k\right\vert \ge\varepsilon \Bigr)\le\frac{V[S_n]}{\varepsilon ^2}=\frac{1}{\varepsilon ^2}\sum_{k=1}^{n}V[X_k]\tag{12.3}$$

が成り立つ。Chebyshev の不等式は最後の時刻だけを見る。これに対し Kolmogorov の不等式は、途中の最大値まで同じ上界で抑える。第4章 §4.4 からは Borel–Cantelli の補題を借りる。事象の列 $A_n$ について

$$\sum_nP(A_n)<\infty\ \Longrightarrow\ P(A_n\ \text{i.o.})=0,\qquad A_n\ \text{が独立で}\ \sum_nP(A_n)=\infty\ \Longrightarrow\ P(A_n\ \text{i.o.})=1\tag{12.4}$$

である。とくに第4章 §4.4 の命題 4.23 の次の形を使う。

$$\text{任意の}\ \varepsilon >0\ \text{で}\ \sum_nP(\left\vert Y_n-Y\right\vert >\varepsilon )<\infty\quad\Longrightarrow\quad Y_n\to Y\ \text{a.s.}$$

収束の定義は第11章 §11.1 のとおりである。

• 概収束 $Y_n\to Y$ a.s. は、$P(\lim_nY_n=Y)=1$ をいう。
• 確率収束は、任意の $\varepsilon >0$ で $P(\left\vert Y_n-Y\right\vert >\varepsilon )\to0$ となることをいう。記号は $Y_n\xrightarrow{P}Y$ である。
• $L^p$ 収束は、$E[\left\vert Y_n-Y\right\vert ^p]\to0$ となることをいう。記号は $Y_n\xrightarrow{L^p}Y$ である。

第11章 §11.2 から「概収束と $L^p$ 収束はどちらも確率収束を導く」ことを借りる。第5章 §5.4 からは、分散が有限な確率変数について

$$V[S_n]=\sum_{k=1}^{n}V[X_k]+2\sum_{1\le j<k\le n}\mathrm{Cov}(X_j,X_k)\tag{12.5}$$

が成り立ち、対ごとに無相関なら右辺の第2項が消えることを借りる。

この章の結果の使い道も書いておく。大数の法則は $\bar X_n-\mu$ が 0 に近づくことだけを述べ、どの速さで近づくかは述べない。

ずれの大きさはおよそ $\sigma/\sqrt n$ である。そのずれを $\sqrt n$ 倍したものの分布が正規分布に近づくことは、第13章の中心極限定理が示す。第15章 §15.4 のエルゴード定理は、独立でないマルコフ連鎖の時間平均について同じ形の強法則を示し、§15.5 の MCMC はその上に立つ。

Chebyshev の不等式による証明

標本平均が期待値に近づく理由は、分散の計算から分かる。各項が対ごとに無相関で分散が $\sigma^2$ なら、(12.5) から次のようになる。

$$V[S_n]=n\sigma^2,\qquad V[\bar X_n]=\frac{V[S_n]}{n^2}=\frac{\sigma^2}n$$

平均をとることで分散が $1/n$ 倍に縮むので、標本平均の分布は $\mu$ のまわりに集まっていく。これを Chebyshev の不等式で確率の評価に直したものが次の定理である。

証明

期待値の線形性から $E[\bar X_n]=\frac1n\sum_{k=1}^nE[X_k]=\mu$ である。したがって左辺は分散 $V[\bar X_n]$ に等しい。無相関の仮定と (12.5) から

$$V[\bar X_n]=\frac{1}{n^2}V[S_n]=\frac{1}{n^2}\sum_{k=1}^{n}V[X_k]\le\frac{1}{n^2}\cdot nC=\frac{C}{n}$$

となる。これが第1の不等式である。第2の不等式は、Chebyshev の不等式 (12.2) を $Y=\bar X_n$ に使えば得られる。番号を大きくすると両辺が 0 に近づくので、2つの収束が従う。

最も簡単な場合として、事象 $A$ を独立に繰り返し観測する状況を考える。$X_k$ を、$k$ 回目にこの事象が起きたかどうかの指示関数とする。すると $X_k\sim\mathrm{Ber}(p)$（$p=P(A)$）で、標本平均は事象の起きた相対頻度である。分散は $V[X_k]=p(1-p)\le\frac14$ だから、定理 12.1 から

$$P(\left\vert \bar X_n-p\right\vert \ge\varepsilon )\le\frac{p(1-p)}{n\varepsilon ^2}\le\frac{1}{4n\varepsilon ^2}\tag{12.7}$$

を得る。相対頻度が確率 $p$ に確率収束するというこの結果は、J. Bernoulli が二項分布の計算から示したもので、Bernoulli の大数の法則と呼ばれる。最右辺は $p$ を知らなくても計算できる。よって未知の確率を推定するのに何回の試行が必要かの見積もりに使える（確認テスト 12.1-2）。

相関の弱い列への一般化

定理 12.1 の証明で使ったのは、$V[S_n]/n^2\to0$ という1つの事実だけである。この事実を仮定として取り出すと、期待値がそろっていない場合も含めた形になる。

証明

$Y_n=(S_n-E[S_n])/n$ と置く。これは次を満たす。

$$E[Y_n]=0,\qquad E[Y_n^2]=\frac{V[S_n]}{n^2}$$

仮定から $E[Y_n^2]\to0$ であり、これが $L^2$ 収束である。Chebyshev の不等式から次となり、確率収束も従う。

$$P(\left\vert Y_n\right\vert \ge\varepsilon )\le\frac{V[S_n]}{n^2\varepsilon ^2}\to0$$

この条件は、相関が離れた番号のあいだで弱くなる列で満たされる。時系列の観測値のように、近い時刻どうしには相関があっても遠い時刻どうしはほぼ無関係という状況がこれにあたる。

証明

定理 12.2 の条件 $V[S_n]/n^2\to0$ を確かめればよい。分散を共分散の和に展開する。

$$V[S_n]=\sum_{j=1}^n\sum_{k=1}^n\mathrm{Cov}(X_j,X_k)$$

各項を (12.8) で抑える。差 $m=\left\vert j-k\right\vert$ が等しい組 $(j,k)$ の個数は次のとおりである。

• $m=0$ なら $n$ 個である。
• $1\le m\le n-1$ なら $2(n-m)\le2n$ 個である。

よって

$$V[S_n]\le n\,r(0)+2n\sum_{m=1}^{n-1}r(m),\qquad \frac{V[S_n]}{n^2}\le\frac{r(0)}{n}+\frac{2}{n}\sum_{m=1}^{n-1}r(m)$$

となる。右辺の第1項は 0 に近づく。第2項は数列 $r(m)$ の Cesàro 平均であり、数列が 0 に近づくなら 0 に近づく。

実際、$\eta>0$ を任意にとる。番号 $M$ を、それより先で $r(m)<\eta$ となるように選ぶ。すると $n>M$ で

$$\frac1n\sum_{m=1}^{n-1}r(m)\le\frac1n\sum_{m=1}^{M-1}r(m)+\frac{n-M}{n}\,\eta\le\frac1n\sum_{m=1}^{M-1}r(m)+\eta$$

である。右辺の第1項は $n\to\infty$ で 0 に近づくので、上極限は $\eta$ 以下になる。$\eta$ は任意だから極限は 0 である。

とくに和 $\sum_{m\ge0}r(m)$ が有限なら、上の評価から次となる。

$$V[\bar X_n]\le\frac1n\Bigl(r(0)+2\sum_{m\ge1}r(m)\Bigr)$$

よって無相関の場合と同じく、$1/n$ の速さで分散が縮む。たとえば $0<\rho<1$ について $r(m)=C\rho^m$ とする。このとき括弧の中は $C(1+\rho)/(1-\rho)$ である。

期待値だけを仮定する弱法則

独立同分布の列では、分散が無限でも期待値さえ有限なら弱法則が成り立つ。証明の道具は切断で、大きな値を切り落とした確率変数に Chebyshev の不等式を使い、切り落とした部分が無視できることを別に示す。

証明

各 $n$ について、最初の $n$ 項を同じ高さで切断した

$$Y_{n,k}=X_k\mathbf 1_{\{\left\vert X_k\right\vert \le n\}},\qquad T_n=\sum_{k=1}^{n}Y_{n,k}$$

を考える。$Y_{n,1},\dots,Y_{n,n}$ は独立な確率変数の関数なので独立で、同じ分布をもつ。証明は3段に分かれる。

(i) $S_n$ と $T_n$ が異なる確率は 0 に近づく。$S_n\neq T_n$ なら、どれかの項で $\left\vert X_k\right\vert >n$ である。よって劣加法性から

$$P(S_n\neq T_n)\le\sum_{k=1}^{n}P(\left\vert X_k\right\vert >n)=nP(\left\vert X_1\right\vert >n)\le E\bigl[\left\vert X_1\right\vert ;\left\vert X_1\right\vert >n\bigr]$$

となる。最後の不等式は、事象 $\{\left\vert X_1\right\vert >n\}$ の上で $n<\left\vert X_1\right\vert$ であることによる。関数 $\left\vert X_1\right\vert \mathbf 1_{\{\left\vert X_1\right\vert >n\}}$ は各点で 0 に近づき、$\left\vert X_1\right\vert$ で抑えられる。よって優収束定理（第5章 §5.2）から右辺は 0 に近づく。

(ii) $T_n/n$ の期待値は $\mu$ に近づく。実際 $E[T_n]/n=E[X_1;\left\vert X_1\right\vert \le n]$ である。切断した値 $X_1\mathbf 1_{\{\left\vert X_1\right\vert \le n\}}$ は各点でもとの値に近づき、$\left\vert X_1\right\vert$ で抑えられる。よって優収束定理により $E[T_n]/n\to\mu$ である。

(iii) $T_n/n$ は自分の期待値のまわりに集まる。独立性から

$$\frac{V[T_n]}{n^2}=\frac{nV[Y_{n,1}]}{n^2}\le\frac{E[X_1^2;\left\vert X_1\right\vert \le n]}{n}=E\Bigl[\left\vert X_1\right\vert \cdot\frac{\left\vert X_1\right\vert }{n}\mathbf 1_{\{\left\vert X_1\right\vert \le n\}}\Bigr]$$

である。期待値の中の確率変数は $\left\vert X_1\right\vert$ 以下である。また各標本点で $\left\vert X_1(\omega)\right\vert /n\to0$ だから、各点で 0 に近づく。再び優収束定理から $V[T_n]/n^2\to0$ を得る。

3つを合わせる。$\varepsilon >0$ をとる。(ii) により、番号が大きければ $\left\vert E[T_n]/n-\mu\right\vert <\varepsilon /2$ となる。このとき

$$P(\left\vert \bar X_n-\mu\right\vert >\varepsilon )\le P(S_n\neq T_n)+P\Bigl(\Bigl|\frac{T_n}{n}-\mu\Bigr|>\varepsilon \Bigr) \le P(S_n\neq T_n)+P\Bigl(\Bigl|\frac{T_n-E[T_n]}{n}\Bigr|>\frac{\varepsilon }2\Bigr)$$

である。第2項は Chebyshev の不等式で次のように抑えられる。

$$P\Bigl(\Bigl|\frac{T_n-E[T_n]}{n}\Bigr|>\frac{\varepsilon }2\Bigr)\le\frac{4V[T_n]}{n^2\varepsilon ^2}$$

(i) と (iii) から右辺は 0 に近づく。

この例題では、確率論の結果を使って解析学の定理（連続関数は多項式で一様に近似できる）を構成的に証明した。

確認テスト

オリジナル

1. 12.1-1 すべて同じ確率変数 $X_1=X_2=\cdots=X$ をとり、$V[X]>0$ とする。標本平均は何に収束するか。系 12.3 の仮定のどこが満たされないかを答えよ。
2. 12.1-2 確率 $p$ が未知の事象を独立に $n$ 回観測し、相対頻度でその確率を推定する。次を保証する最小の整数 $n$ を求めよ。

$$P(\left\vert \bar X_n-p\right\vert \ge0.05)\le0.05$$

(12.7) を使う場合と、Hoeffding の不等式 $P(\left\vert \bar X_n-p\right\vert \ge\varepsilon )\le2\mathrm{e}^{-2n\varepsilon ^2}$ を使う場合のそれぞれについて求めよ。3. 12.1-3 $\xi_1,\xi_2,\dots$ を独立同分布とする。平均を $\mu$、分散を $\sigma^2$ とする。$X_k=\frac12(\xi_k+\xi_{k+1})$ と置く。次を2通りで示せ。

$$V[S_n]=\frac{(2n-1)\sigma^2}{2}$$

2通りとは、共分散の和から求める方法と、$S_n$ を $\xi$ の線形結合に書き直す方法である。さらに $\bar X_n\xrightarrow{P}\mu$ を導け。4. 12.1-4 $X_1,X_2,\dots$ が独立同分布で、$E[X_1^2]<\infty$ とする。分散を $\sigma^2=V[X_1]$ と書く。次の量について $\hat\sigma_n^2\xrightarrow{P}\sigma^2$ を示せ。

$$\hat\sigma_n^2=\frac1n\sum_{k=1}^n(X_k-\bar X_n)^2$$