マルチンゲール

数理統計　第12章 §12.3　★ 停止時刻での期待値を計算する道具。破産問題を解き直し、尤度比の列の大きさを抑える不等式を導く

定義と例

観測される確率変数の列を $X_1,X_2,\dots$ とする。時刻 $n$ までの情報を $\mathcal F_n=\sigma(X_1,\dots,X_n)$ と書く。これで条件付けるとは、$X_1,\dots,X_n$ の値を与えて条件付けることを指す。

条件 (iii) は「現在までの情報をすべて使っても、次の値の予測は現在の値のままである」という意味である。両辺の期待値をとると $E[M_{n+1}]=E[M_n]$ である。よって $E[M_n]=E[M_0]$ がすべての時刻で成り立つ。

統計学で最も重要な例は尤度比の列である。$X_1,X_2,\dots$ が密度（または確率関数）$f$ から独立に得られるとする。別の密度 $g$ との尤度比

$$\Lambda_n=\prod_{i=1}^n\frac{g(X_i)}{f(X_i)}\qquad(\Lambda_0=1)\tag{12.10}$$

を考える（$f>0$ の範囲で $g$ が定義されているとする）。真の密度が $f$ のもとで、次の2式が成り立つ。

$$\begin{aligned}E_f\Bigl[\frac{g(X)}{f(X)}\Bigr]&=\int\frac{g(x)}{f(x)}f(x)\,\mathrm{d} x=\int g(x)\,\mathrm{d} x=1,\\ E_f[\Lambda_{n+1}\mid\mathcal F_n]&=\Lambda_nE_f\Bigl[\frac{g(X_{n+1})}{f(X_{n+1})}\Bigr]=\Lambda_n.\end{aligned}$$

よって尤度比の列は、$f$ のもとでマルチンゲールである。帰無仮説 $H_0:f$ が正しいとき、対立仮説に有利な証拠の大きさ $\Lambda_n$ は、平均すると増えも減りもしない。

停止時刻と任意抽出定理

「初めて 0 か $N$ に達した時刻」は、そこまでの値を見れば判定できるので停止時刻である。一方「最後に 0 にいた時刻」は、未来を見ないと判定できないので停止時刻でない。

証明

(1) 停止時刻までの増分だけを足すと、次のように書ける。

$$M_\tau=M_0+\sum_{k=1}^{K}(M_k-M_{k-1})\mathbf 1\{\tau\ge k\}.$$

事象 $\{\tau\ge k\}=\{\tau\le k-1\}^c$ は、$X_1,\dots,X_{k-1}$ だけで決まる。よって

$$E[(M_k-M_{k-1})\mathbf 1\{\tau\ge k\}]=E\bigl[\mathbf 1\{\tau\ge k\}\,E[M_k-M_{k-1}\mid\mathcal F_{k-1}]\bigr]=0$$

である。和をとれば $E[M_\tau]=E[M_0]$。

(2) $\min(n,\tau)$ は有界な停止時刻なので、(1) から $E[M_{\min(n,\tau)}]=E[M_0]$。$P(\tau<\infty)=1$ なので、確率1で $M_{\min(n,\tau)}\to M_\tau$ である。$\lvert M_{\min(n,\tau)}\rvert \le K$ なので、有界収束定理から極限と期待値を交換できる。よって $E[M_\tau]=E[M_0]$ を得る。

条件を外すと結論は成り立たない。対称ランダム・ウォークで $\tau=\min\{n:S_n=1\}$ とする。定理 12.8 と同じ議論で $P(\tau<\infty)=1$ だが、$E[S_\tau]=1\ne0=E[S_0]$ である。$S_{\min(n,\tau)}$ は下に有界でないので、条件2を満たさない。

証明

$S_\tau=\sum_{k\ge1}X_k\mathbf 1\{\tau\ge k\}$ である。事象 $\{\tau\ge k\}$ は $X_1,\dots,X_{k-1}$ だけで決まる。よって $X_k$ と独立で、

$$E[\lvert X_k\rvert \mathbf 1\{\tau\ge k\}]=E[\lvert X_1\rvert ]P(\tau\ge k).$$

$\sum_kP(\tau\ge k)=E[\tau]<\infty$ なので絶対収束し、和と期待値を交換できる。

$$E[S_\tau]=\sum_kE[X_1]P(\tau\ge k)=E[X_1]E[\tau].$$

最大不等式と逐次検定

証明

$\sigma=\min\{k:M_k\ge c\}$ とし、$\rho=\min(\sigma,n)$ とおく。これは $n$ 以下の停止時刻なので、定理 12.11(1) から $E[M_\rho]=E[M_0]$。

• $\max_{k\le n}M_k\ge c$ のときは $\sigma\le n$ である。よって $M_\rho=M_\sigma\ge c$。
• そうでないときも、非負性から $M_\rho\ge0$ である。

よって $E[M_0]=E[M_\rho]\ge c\,P(\max_{k\le n}M_k\ge c)$ となる。

これを尤度比 (12.10) に当てはめる。$E[\Lambda_0]=1$ なので、次を得る。

$$P_f(\text{ある }n\text{ で }\Lambda_n\ge1/\alpha)\le\alpha.$$

データを1つ得るたびに尤度比を計算し、$1/\alpha$ を超えた時点で帰無仮説を棄却する手続きを考える。いつ止めるかをデータを見ながら決めても、第1種の誤りの確率は $\alpha$ 以下に保たれる。

これは Wald の逐次確率比検定（SPRT）で、棄却の境界を $1/\alpha$ に置いたものに当たる。固定した標本サイズでの検定を何度も繰り返す場合とは違い、この保証は観測を続ける回数に上限を置かなくても成り立つ。

確認テスト

オリジナル

1. 12.3-1 対称ランダム・ウォークについて、$M_n=S_n^2-n$ がマルチンゲールであることを示せ。
2. 12.3-2 $p\ne q$ の単純ランダム・ウォークを考える。$r^{S_n}$（$r=q/p$）がマルチンゲールであることを使う。破産問題の確率 (12.7)（非対称の場合）を、任意抽出定理から導け。
3. 12.3-3 公正なさいころを、初めて6の目が出るまで振る。出た目の合計の期待値を Wald の等式で求めよ。
4. 12.3-4 公正な硬貨を投げ、次のようにおく。

$$M_n=2^n\mathbf 1\{\text{最初の }n\text{ 回がすべて表}\}.$$

$M_n$ がマルチンゲールで $E[M_n]=1$ であることを示せ。しかし確率1で $M_n\to0$ となることを示し、極限と期待値が交換できない理由を述べよ。