4つの収束

確率論入門　第11章 §11.1　★★★ 概収束・確率収束・$L^p$ 収束・分布収束を定義する。分布収束だけは分布関数の連続点でしか収束を求めないことと、その理由が要点

数列 $a_n$ の極限が $a$ であるとは、両者の差の絶対値が 0 に近づくことである。数列の収束の意味はただ1つに決まる。ところが確率変数の列 $X_1,X_2,\dots$ は、標本点 $\omega$ ごとに値の異なる関数の列である。「$X_n$ が $X$ に近づく」と言うとき、何を求めるかで主張の強さがまったく異なる。

• すべての標本点で近づくことを求める。
• 近づかない標本点の確率が小さければよいとする。
• ずれの平均が小さければよいとする。
• 分布の形だけが近づけばよいとする。

大数の法則（第12章）は「標本平均が期待値に近づく」という主張で、確率収束と概収束の2つの版がある。中心極限定理（第13章）は「標準化した和の分布が正規分布に近づく」という主張で、分布収束の主張である。収束の意味を区別しておかないと、これらの定理が何を述べているのかを正確に書くことができない。

この章では、まず §11.1 で概収束・確率収束・$L^p$ 収束・分布収束の4つを定義する。§11.2 ではそのあいだの含意を証明し、含意が逆向きには成り立たないことを反例で示す。

§11.3 では、確率収束から期待値の収束（$L^1$ 収束）を引き出すための条件として一様可積分性を導入し、第5章の優収束定理をそれで置き換える。§11.4 では、分布収束を有界連続関数の期待値で言い換え、連続写像定理と Slutsky の定理を示す。この2つは、第13章の中心極限定理から実際に使える近似を作るときの道具になる。

この章で使う前の章の結果を、式の形で先に書いておく。第1章 §1.4 の確率測度の上からの連続性

$$B_1\supset B_2\supset\cdots\quad\Longrightarrow\quad P(B_n)\downarrow P\Bigl(\bigcap_nB_n\Bigr)\tag{11.1}$$

と、第4章 §4.4 の Borel–Cantelli の補題

$$\sum_nP(A_n)<\infty\ \Longrightarrow\ P(A_n\ \text{i.o.})=0,\qquad A_n\ \text{が独立で}\ \sum_nP(A_n)=\infty\ \Longrightarrow\ P(A_n\ \text{i.o.})=1\tag{11.2}$$

を使う。ここで事象

$$\{A_n\ \text{i.o.}\}=\limsup_nA_n=\bigcap_{n}\bigcup_{m\ge n}A_m$$

は「$A_n$ が無限回起きる」という事象である。

第3章 §3.3 からは、分布関数 $F_X$ が単調非減少・右連続で、不連続点が高々可算個であることを借りる。§3.5 からは、一般化逆関数 $F^{-1}(u)=\inf\{x:F(x)\ge u\}$ についての同値

$$F^{-1}(u)\le x\iff u\le F(x)\qquad(0<u<1)\tag{11.3}$$

と、逆変換法を借りる。逆変換法とは、一様分布 $\mathrm U(0,1)$ に従う確率変数を $F^{-1}$ で写すと、分布関数がもとの分布関数に一致する確率変数が得られることである。第5章 §5.2 の単調収束定理・Fatou の補題・優収束定理（とその特別な場合の有界収束定理）、§5.5 の全変動距離 $d_{\mathrm{TV}}$ も使う。第10章からは Markov の不等式と Hölder の不等式

$$P(\left\vert Y\right\vert \ge a)\le\frac{E[\left\vert Y\right\vert ^p]}{a^p}\quad(a>0,\ p>0),\qquad E[\left\vert UV\right\vert ]\le E[\left\vert U\right\vert ^r]^{1/r}E[\left\vert V\right\vert ^s]^{1/s}\quad\Bigl(r,s>1,\ \frac1r+\frac1s=1\Bigr)\tag{11.4}$$

を借りる。Markov の不等式は、次の不等式の両辺の期待値をとれば得られる。

$$a^p\mathbf 1_{\{\left\vert Y\right\vert \ge a\}}\le\left\vert Y\right\vert ^p$$

この不等式は、事象 $\{\left\vert Y\right\vert \ge a\}$ の上で $\left\vert Y\right\vert ^p\ge a^p$ であることから成り立つ。

この節を通して、確率変数はすべて同じ確率空間 $(\Omega,\mathcal F,P)$ の上にあるとする。列 $X_1,X_2,\dots$ と極限の候補 $X$ は、その上の実数値の確率変数である（分布収束だけはこの仮定が要らない）。

概収束

最も素朴な定義は、標本点ごとの数列の収束を、確率 0 の例外を除いて要求するものである。

この定義では、まず集合 $\{X_n\to X\}$ が事象であること、すなわち $\mathcal F$ に属することを確かめておく必要がある。数列の収束の定義は「任意の $k$ について、ある番号から先のすべての $n$ で次が成り立つ」である。

$$\left\vert X_n-X\right\vert <1/k$$

この量化子を集合の演算に置き換えて書くと

$$\{X_n\to X\}=\bigcap_{k=1}^\infty\bigcup_{N=1}^\infty\bigcap_{n=N}^\infty\Bigl\{\left\vert X_n-X\right\vert <\frac1k\Bigr\}\tag{11.6}$$

となる。「任意の」が共通部分、「ある」が和集合に対応する。$\left\vert X_n-X\right\vert$ は確率変数（第3章 §3.1）なので右辺の各集合は事象であり、可算個の演算で閉じた σ加法族に入る。$\varepsilon$ を $1/k$ に限ったのは、演算を可算個に抑えるためである。

概収束を確率の言葉で判定するための補題を示す。$\varepsilon >0$ について

$$A_n(\varepsilon )=\{\left\vert X_n-X\right\vert >\varepsilon \}$$

と置く。

証明

(i)$\iff$(ii)：ある標本点で $X_n(\omega)\to X(\omega)$ が成り立たないことは、次と同じである。

$$\text{ある}\ \varepsilon >0\ \text{について}\ \left\vert X_n(\omega)-X(\omega)\right\vert >\varepsilon \ \text{となる}\ n\ \text{が無限にある。}$$

ここで $\varepsilon$ は $1/k$ の形に限ってよい。$\varepsilon$ を小さくすると条件は弱くなるので、それより小さい $1/k$ をとればよいからである。したがって

$$\{X_n\to X\}^c=\bigcup_{k=1}^\infty\bigl\{A_n(1/k)\ \text{i.o.}\bigr\}$$

である。右辺の事象は $k$ について増加する。よって左辺の確率が 0 であることは、すべての $k$ について

$$P(A_n(1/k)\ \text{i.o.})=0$$

であることと同値である（可算個の確率 0 の事象の和は確率 0、逆に部分集合の確率は 0）。また任意の $\varepsilon >0$ に対して、それより小さい $1/k$ をとれば次の包含が成り立つ。

$$A_n(\varepsilon )\subset A_n(1/k)$$

よって (ii) は $\varepsilon =1/k$ の場合だけで確かめれば十分である。

(ii)$\iff$(iii)：次のように置く。

$$B_n=\bigcup_{m\ge n}A_m(\varepsilon )=\Bigl\{\sup_{m\ge n}\left\vert X_m-X\right\vert >\varepsilon \Bigr\}$$

2つ目の等号が成り立つのは、上限が $\varepsilon$ を超えることが「ある $m\ge n$ で、差の絶対値がその値を超える」ことと同値だからである。事象 $B_n$ は番号について減少し、その共通部分は事象 $\{A_n(\varepsilon )\ \text{i.o.}\}$ である。上からの連続性 (11.1) から

$$P(B_n)\downarrow P(A_n(\varepsilon )\ \text{i.o.})$$

なので、$P(B_n)\to0$ は $P(A_n(\varepsilon )\ \text{i.o.})=0$ と同値である。

(iii) は「ある時刻 $n$ から先の全体にわたって $\varepsilon$ 以内に収まる確率が 1 に近づく」と読める。次に定義する確率収束は、これを各時刻 $n$ だけの条件に弱めたものである。(ii) と Borel–Cantelli の第1補題 (11.2) を組み合わせると、第4章 §4.4 で示した概収束の十分条件

$$\text{任意の}\ \varepsilon >0\ \text{について}\ \sum_{n=1}^\infty P(\left\vert X_n-X\right\vert >\varepsilon )<\infty\quad\Longrightarrow\quad X_n\to X\ \text{a.s.}\tag{11.7}$$

が改めて得られる。第12章の強法則の証明は、この形で概収束を示す。

確率収束

確率収束は「時刻 $n$ を1つ固定したとき、大きくずれる確率が小さい」ことしか要求しない。大きくずれる標本点の集合 $A_n(\varepsilon )$ が $n$ ごとに入れ替わってもよい。その結果、すべての標本点が無限回どこかで大きくずれることも許される。この違いは §11.2 の反例で具体的に見る。

定義の $>\varepsilon$ を $\ge\varepsilon$ に変えても同じ概念になる。$\{\left\vert X_n-X\right\vert \ge\varepsilon \}\subset\{\left\vert X_n-X\right\vert >\varepsilon /2\}$ だからである。

$L^p$ 収束

$p\ge1$ とする。$E[\left\vert X\right\vert ^p]<\infty$ となる確率変数を $p$ 乗可積分と呼び、

$$\left\Vert X\right\Vert _p=E[\left\vert X\right\vert ^p]^{1/p}\tag{11.9}$$

と書く。$p=1$ は可積分、$p=2$ は第5章 §5.4 の2乗可積分である。

$L^p$ 収束はずれの大きさの平均を見るので、ずれる確率が小さくても、ずれの値が大きければ収束しない。この点で確率収束とは別の方向の条件を課している。$\left\Vert \cdot\right\Vert _p$ については三角不等式（Minkowski の不等式）が成り立つことが知られている。この章で使うのは $p=1$ の場合

$$E\left\vert X+Y\right\vert \le E\left\vert X\right\vert +E\left\vert Y\right\vert$$

だけである。

分布収束

中心極限定理の主張は「標準化した和 $Z_n$ について、$P(Z_n\le x)$ が標準正規分布の分布関数に近づく」という形をしている。ここで問題にしているのは $Z_n$ の値そのものではなく、分布だけである。分布関数の収束で定義するのが自然であるが、すべての点での収束を要求すると困ることが起きる。

この例が示すように、極限の分布関数の不連続点（原子）では、跳びの位置がわずかにずれただけで分布関数の値が収束しなくなる。そこでそうした点を除いて収束を求める。

分布収束は分布関数だけで決まるので、$X_n$ と $X$ が別々の確率空間の上にあってもよい。極限の分布が $\mu$ のとき、$X_n\xrightarrow{d}\mu$ とも書く。たとえば $Z_n\xrightarrow{d}\mathrm N(0,1)$ のように書く。

定義から、分布収束は「確率変数の収束」というより「分布の列の収束」である。実際、$X_n\xrightarrow{d}X$ とする。極限と同じ分布の確率変数 $Y$ をもってくると、$X_n\xrightarrow{d}Y$ も成り立つ。§11.4 では、分布収束を有界連続関数 $g$ についての次の収束と同値な形に言い換える。

$$E[g(X_n)]\to E[g(X)]$$

極限の一意性

数列の極限がただ1つであるのと同じ意味で、4つの収束の極限もただ1つに決まる。ただし「ただ1つ」の意味は収束の種類によって異なる。

証明

(i)：三角不等式から

$$\left\vert X-Y\right\vert \le\left\vert X-X_n\right\vert +\left\vert X_n-Y\right\vert$$

である。よって $\left\vert X-Y\right\vert >2\varepsilon$ なら、右辺の2項の少なくとも一方は $\varepsilon$ を超える。したがって

$$P(\left\vert X-Y\right\vert >2\varepsilon )\le P(\left\vert X_n-X\right\vert >\varepsilon )+P(\left\vert X_n-Y\right\vert >\varepsilon )$$

である。左辺は $n$ によらず、右辺は $n\to\infty$ で 0 に近づく。よって $P(\left\vert X-Y\right\vert >2\varepsilon )=0$ である。

事象 $\{X\ne Y\}=\bigcup_k\{\left\vert X-Y\right\vert >1/k\}$ は確率 0 の事象の可算和なので、$P(X\ne Y)=0$ を得る。概収束と $L^p$ 収束は、次の節の定理 11.7 で確率収束を導くので、この場合に帰着する。

(ii)：$F_X$ と $F_Y$ の不連続点は、それぞれ高々可算個である（第3章 §3.3）。両方が連続な点の集合を $C$ とすると、その補集合は高々可算である。よって $C$ は $\mathbb{R}$ で稠密である。

$x\in C$ では $F_X(x)=\lim_nF_{X_n}(x)=F_Y(x)$ である。任意の $x$ について、集合 $C$ の点の列で右から近づくものをとる。この列を $x_k$ と書く。右連続性から

$$F_X(x)=\lim_kF_X(x_k)=\lim_kF_Y(x_k)=F_Y(x)$$

となる。分布関数が等しければ分布も等しい（第3章 §3.3）。

(ii) は分布収束の極限が「分布として」しか決まらないことを述べている。分布収束は値の近さを何も言っていないので、これ以上のことを期待することはできない。

(1) の最大値 $M_n$ は 1 に向かって潰れていく。しかし 1 からのずれを $n$ 倍に拡大すると、潰れずに $\mathrm{Ex}(1)$ という形が残る。このように「ずれをちょうどよい倍率で拡大したものの分布」を調べるのが分布収束の典型的な使い方で、中心極限定理はその倍率が $\sqrt n$ の場合である。

確認テスト

オリジナル

1. 11.1-1 $X_n=(-1)^n/n$ とする。$F_{X_n}(0)$ が $n\to\infty$ で収束しないことを確かめよ。それでも $X_n\xrightarrow{d}0$ が成り立つ理由を、定義に沿って述べよ。
2. 11.1-2 $X_n\sim\mathrm{Ex}(n)$ とする（同じ確率空間の上にあるとし、独立性は仮定しない）。$E[X_n^2]$ を求めて、$X_n\xrightarrow{L^2}0$ を示せ。さらに $\sum_nP(X_n>\varepsilon )$ を計算して、$X_n\to0$ a.s. を示せ。
3. 11.1-3 $\lambda>0$ とする。番号 $n>\lambda$ について、$G_n$ を次の幾何分布に従う確率変数とする。

$$P(G_n=k)=\Bigl(1-\frac\lambda n\Bigr)^{k-1}\frac\lambda n\qquad(k=1,2,\dots)$$

$X_n=G_n/n$ と置く。$x\ge0$ について $P(X_n>x)$ を求めよ。また $X_n\xrightarrow{d}\mathrm{Ex}(\lambda)$ を示せ。さらに $\lambda=1$ のとき、確率 $P(X_{100}>1)$ を極限の値と比べよ。4. 11.1-4 次の2つが同値であることを示せ。

$$X_n\xrightarrow{P}X\quad\Longleftrightarrow\quad E[\min(\left\vert X_n-X\right\vert ,1)]\to0$$