Kolmogorov の不等式

事象 $A=\{\max_{1\le k\le n}\left\vert S_k\right\vert \ge a\}$ を、部分和が初めて $a$ に達した時刻で分ける。$k=1,\dots,n$ について

$$A_k=\bigl\{\left\vert S_1\right\vert <a,\ \dots,\ \left\vert S_{k-1}\right\vert <a,\ \left\vert S_k\right\vert \ge a\bigr\}$$

と置く。$A_1,\dots,A_n$ は互いに素で、その和は $A$ である。各 $A_k$ は最初の $k$ 個の確率変数だけで決まる事象である。その指示関数は、$(X_1,\dots,X_k)$ の Borel 関数として書ける。

$S_n^2\ge0$ なので

$$E[S_n^2]\ge E[S_n^2\mathbf 1_A]=\sum_{k=1}^nE[S_n^2\mathbf 1_{A_k}]$$

である。各 $k$ について、残りの増分を $R_k=S_n-S_k=X_{k+1}+\cdots+X_n$ と置くと

$$S_n^2=(S_k+R_k)^2=S_k^2+2S_kR_k+R_k^2\ge S_k^2+2S_kR_k$$

なので

$$E[S_n^2\mathbf 1_{A_k}]\ge E[S_k^2\mathbf 1_{A_k}]+2E\bigl[(S_k\mathbf 1_{A_k})\,R_k\bigr]\tag{10.33}$$

である。この式の第2項を調べる。

• $S_k\mathbf 1_{A_k}$ は最初の $k$ 個の関数である。$R_k$ は残りの確率変数の関数である。第4章 §4.2 のまとめ方の補題から、この2つは独立である。
• どちらも2乗可積分なので可積分である（Lyapunov の不等式、あるいは $\left\vert Y\right\vert \le1+Y^2$）。
• 独立な可積分な確率変数の積の期待値は、期待値の積になる。

$E[R_k]=0$ なので

$$E\bigl[(S_k\mathbf 1_{A_k})\,R_k\bigr]=E[S_k\mathbf 1_{A_k}]\,E[R_k]=0$$

となる。この事象の上では $\left\vert S_k\right\vert \ge a$ なので、$S_k^2\mathbf 1_{A_k}\ge a^2\mathbf 1_{A_k}$ である。よって (10.33) から $E[S_n^2\mathbf 1_{A_k}]\ge a^2P(A_k)$ を得る。$k$ について足すと

$$E[S_n^2]\ge a^2\sum_{k=1}^nP(A_k)=a^2P(A)$$

となる。最後に $E[S_n^2]=V[S_n]=\sum_{i=1}^n\sigma_i^2$ は、独立な確率変数の和の分散が分散の和になることによる。

実数列が収束することと Cauchy 列であることは同値である。そこで

$$W_m=\sup_{j,k>m}\left\vert S_j-S_k\right\vert ,\qquad W=\lim_{m\to\infty}W_m$$

と置き、$W=0$ a.s. を示せばよい。$W_m$ は可算個の確率変数の上限なので、$[0,\infty]$ に値をとる確率変数である。$m$ について非増加だから、極限 $W$ が存在する。

$m$ を固定し、$\varepsilon >0$ とする。$N>m$ について、独立で平均 0 の $X_{m+1},\dots,X_N$ に Kolmogorov の不等式を使うと

$$P\Bigl(\max_{m<k\le N}\left\vert S_k-S_m\right\vert \ge\varepsilon \Bigr)\le\frac{1}{\varepsilon ^2}\sum_{i=m+1}^{N}V[X_i]\le\frac1{\varepsilon ^2}\sum_{i=m+1}^{\infty}V[X_i]$$

である。上限についての事象は、$N=m+1,m+2,\dots$ に沿って増加する事象の列の和である。

$$\Bigl\{\sup_{k>m}\left\vert S_k-S_m\right\vert >\varepsilon \Bigr\}=\bigcup_{N>m}\Bigl\{\max_{m<k\le N}\left\vert S_k-S_m\right\vert >\varepsilon \Bigr\}$$

上限が $\varepsilon$ を真に超えるなら、ある時刻で差が $\varepsilon$ を超えるからである。第1章 §1.4 の確率の連続性から

$$P\Bigl(\sup_{k>m}\left\vert S_k-S_m\right\vert >\varepsilon \Bigr)=\lim_{N\to\infty}P\Bigl(\max_{m<k\le N}\left\vert S_k-S_m\right\vert >\varepsilon \Bigr)\le\frac{1}{\varepsilon ^2}\sum_{i=m+1}^{\infty}V[X_i]$$

となる。三角不等式 $\left\vert S_j-S_k\right\vert \le\left\vert S_j-S_m\right\vert +\left\vert S_k-S_m\right\vert$ から、$W_m\le2\sup_{k>m}\left\vert S_k-S_m\right\vert$ である。よって

$$P(W>2\varepsilon )\le P(W_m>2\varepsilon )\le P\Bigl(\sup_{k>m}\left\vert S_k-S_m\right\vert >\varepsilon \Bigr)\le\frac1{\varepsilon ^2}\sum_{i=m+1}^\infty V[X_i]$$

である（1つ目の不等号は $W\le W_m$ による）。左辺は $m$ によらない。右辺は収束する級数の残りなので、$m\to\infty$ で 0 に近づく。したがって $P(W>2\varepsilon )=0$ である。

$\varepsilon =1/j$（$j=1,2,\dots$）とすれば、どれも零集合である。可算個の零集合の和をとって $P(W>0)=0$ となる。$W=0$ となる標本点では、部分和の列は Cauchy 列なので収束する。