強法則

中心化した変数と和を次のように置く。

$$Y_k=X_k-\mu,\qquad T_n=Y_1+\cdots+Y_n=S_n-n\mu$$

$E[Y_k]=0$、$E[Y_k^4]\le K$ である。Lyapunov の不等式（Jensen の不等式の帰結。第10章 §10.2）から次が成り立つ。

$$E[Y_k^2]\le E[Y_k^4]^{1/2}\le K^{1/2},\qquad E[\left\vert Y_k\right\vert ^3]<\infty$$

4乗 $T_n^4=(Y_1+\cdots+Y_n)^4$ を展開すると、$n^4$ 個の項の和になる。各項の期待値を、添字の重なり方で分類する。

• 1回だけ現れる添字がある項は 0。次の形の項がこれにあたる（添字は相異なる）。

$$Y_i^3Y_j,\qquad Y_i^2Y_jY_k,\qquad Y_iY_jY_kY_l$$

独立性から、期待値はその添字の $E[Y]=0$ を因子にもち、0 になる。たとえば $E[Y_i^3Y_j]=E[Y_i^3]E[Y_j]=0$ である。3次の絶対モーメントが有限なので、積の期待値の公式が使える。

• 4つの添字がすべて等しい項。$Y_i^4$ の形で、$n$ 個ある。
• 2つの添字が2回ずつ現れる項。$Y_i^2Y_j^2$（$i\neq j$）の形である。添字の組の選び方が $\binom n2$ 通りある。4つの位置のどの2つに一方を置くかが $\binom42=6$ 通りある。合わせて $6\binom n2=3n(n-1)$ 個ある。

したがって

$$E[T_n^4]=\sum_{i=1}^{n}E[Y_i^4]+3\sum_{i\neq j}E[Y_i^2]E[Y_j^2]\le nK+3n(n-1)K\le3n^2K\tag{12.9}$$

である（2つ目の和は、順序つきの組 $n(n-1)$ 個にわたる）。Markov の不等式 (12.2) を $r=4$ で使うと

$$P(\left\vert \bar X_n-\mu\right\vert \ge\varepsilon )=P(\left\vert T_n\right\vert \ge n\varepsilon )\le\frac{E[T_n^4]}{n^4\varepsilon ^4}\le\frac{3K}{n^2\varepsilon ^4}$$

となる。$\sum_n1/n^2<\infty$ だから、右辺の番号についての和は有限である。第4章 §4.4 の命題 4.23（概収束の十分条件）から $\bar X_n\to\mu$ a.s. を得る。

命題 4.23 の中身も書いておく。$\varepsilon =1/m$ として Borel–Cantelli の第1補題を使うと、次の事象は確率 0 である。

$$A_m=\{\left\vert \bar X_n-\mu\right\vert \ge1/m\ \text{i.o.}\}$$

可算個の和 $A=\bigcup_mA_m$ も確率 0 である。この事象の外の標本点では、どの $m$ についても、十分大きな番号でずれが $1/m$ 未満となる。これは $\bar X_n(\omega)\to\mu$ を意味する。

非負の確率変数 $W$ について、次が成り立つ。

$$E[W]\le\sum_{n=0}^{\infty}P(W>n)$$

これは第5章 §5.3 の裾の公式 $E[W]=\int_0^\infty P(W>t)\,\mathrm{d} t$ から得られる。区間 $t\in[n,n+1)$ の上で、$P(W>t)\le P(W>n)$ とすればよい。$c>0$ を任意にとり、$W=\left\vert X_1\right\vert /c$ とする。$E[W]=\infty$ だから、$\sum_nP(\left\vert X_1\right\vert >cn)=\infty$ である。

同分布なので $P(\left\vert X_n\right\vert >cn)=P(\left\vert X_1\right\vert >cn)$ である。また事象 $\{\left\vert X_n\right\vert >cn\}$ は独立である。Borel–Cantelli の第2補題 (12.4) から、確率 1 で無限個の番号について $\left\vert X_n\right\vert >cn$ となる。

一方、$X_n=S_n-S_{n-1}$ から

$$\frac{\left\vert X_n\right\vert }{n}\le\frac{\left\vert S_n\right\vert }{n}+\frac{\left\vert S_{n-1}\right\vert }{n}\le\left\vert \bar X_n\right\vert +\left\vert \bar X_{n-1}\right\vert$$

である。$\left\vert X_n\right\vert >cn$ が無限回起きるなら、$\left\vert \bar X_n\right\vert +\left\vert \bar X_{n-1}\right\vert >c$ が無限回起きる。よって $\limsup_n\left\vert \bar X_n\right\vert \ge c/2$ となる。$c=1,2,3,\dots$ に対する可算個の確率 1 の事象の共通部分の上で、上極限は無限大である。