ベルヌーイ過程とポアソン過程

数理統計　第12章 §12.1　★★ 二項・幾何・ポアソン・指数・ガンマの5つの分布を1つの過程から導く。到着時刻の分布と条件付き一様性が出題の中心

ここまでの章では、標本 $X_1,\dots,X_n$ が独立同分布であることを前提に推定と検定を組み立ててきた。この章では、添字を時刻と読み、確率変数の列 $\{X_t\}$ が時刻とともにどう変わるかを1つの確率モデルとして扱う。このような確率変数の族を確率過程と呼ぶ。時刻が $t=0,1,2,\dots$ と飛び飛びの値をとるものを離散時間、$t\ge0$ の実数をとるものを連続時間の確率過程と呼ぶ。

扱う過程は5つである。

1. §12.1 のベルヌーイ過程とポアソン過程。二項分布・幾何分布・ポアソン分布・指数分布・ガンマ分布が、1つの過程の別々の側面として現れることを示す。第3章の分布の相互関係を導出の形で裏付ける。
2. §12.2 のランダム・ウォーク。最初の一歩で場合を分けて差分方程式を立てる「第一歩解析」と、経路を折り返して数える「鏡像原理」を作る。
3. §12.3 のマルチンゲール。期待値が時間とともに変わらない過程で、停止時刻での期待値の計算と、尤度比の列が持つ性質を導く。
4. §12.4 のブラウン運動。ランダム・ウォークを細かく刻んだ極限で、正規分布の性質だけから最大値や到達時刻の分布を導く。
5. §12.5 のマルコフ連鎖。定常分布と推移確率の最尤推定を扱う。

1級の統計数理では、確率過程そのものが大問になることは多くない。ポアソン過程の到着時刻から指数分布やガンマ分布を導く問題や、観測された状態の列から推移確率を最尤推定し尤度比検定に進む問題のように、確率過程を題材にして第4章〜第7章の道具（変数変換・最尤推定・尤度比検定）を使わせる形で出題される。

2025年 統計応用 問2 の題材（3状態マルコフ連鎖・推移確率の最尤推定）がこの型に当たる。

ベルヌーイ過程

確率変数の列 $X_1,X_2,\dots$ が独立に次の分布に従うとする（$0<p<1$）。

$$P(X_i=1)=p,\qquad P(X_i=0)=1-p.$$

この列をベルヌーイ過程と呼び、$X_i=1$ を「時刻 $i$ に事象が起きた」と読む。この過程から3種類の確率変数が作られる。

第一は、時刻 $n$ までに起きた回数 $S_n=X_1+\dots+X_n$ である。独立な $n$ 回の試行の成功数なので、$S_n\sim\mathrm{Bin}(n,p)$ である。

第二は、最初に事象が起きる時刻 $T_1=\min\{i:X_i=1\}$ である。$T_1=k$ は「最初の $k-1$ 回が 0 で、その次が 1」という事象なので

$$P(T_1=k)=(1-p)^{k-1}p\qquad(k=1,2,\dots)\tag{12.1}$$

となる。これが幾何分布である。期待値と分散は、次のべき級数（$\lvert x\rvert <1$）に $x=1-p$ を入れて求める。

$$\sum_{k\ge1}kx^{k-1}=\frac{1}{(1-x)^2},\qquad \sum_{k\ge1}k(k-1)x^{k-2}=\frac{2}{(1-x)^3}.$$

$$\begin{aligned}E[T_1]&=\sum_{k\ge1}k(1-p)^{k-1}p=\frac{p}{p^2}=\frac1p,\\ E[T_1(T_1-1)]&=\frac{2(1-p)}{p^2},\\ V[T_1]&=\frac{2(1-p)}{p^2}+\frac1p-\frac1{p^2}=\frac{1-p}{p^2}.\end{aligned}$$

第三は、$r$ 回目の事象が起きる時刻 $T_r$ である。$T_r=k$ は次の事象である。「最初の $k-1$ 回の中にちょうど $r-1$ 回の 1 があり、その次が 1」。よって

$$P(T_r=k)=\binom{k-1}{r-1}p^r(1-p)^{k-r}\qquad(k=r,r+1,\dots)\tag{12.2}$$

となる。これが負の二項分布である。各試行が独立なので、事象が起きた時刻から次に起きるまでの待ち時間

$$T_1,\ T_2-T_1,\ \dots,\ T_r-T_{r-1}$$

は独立に同じ幾何分布 (12.1) に従う。よって $E[T_r]=r/p$、$V[T_r]=r(1-p)/p^2$ である。

幾何分布は次の無記憶性を持つ（$s,t$ は非負整数）。

$$P(T_1>s+t\mid T_1>s)=P(T_1>t).$$

$P(T_1>k)$ は「最初の $k$ 回がすべて 0」の確率である。その値は $(1-p)^k$ に等しい。よって左辺は $(1-p)^{s+t}/(1-p)^s=(1-p)^t$ で、右辺に等しい。

すでに $s$ 回待ったという情報は、これから先の待ち時間の分布を変えない。この性質は、各回の試行が過去と独立であることを言い換えたものである。

ポアソン過程の定義

時刻 $t\ge0$ までに起きた事象の回数を $N(t)$ とする。これは非負整数の値をとり、時刻について減らない。このような過程を計数過程と呼ぶ。

条件4は「短い時間に事象が起きる確率はその長さに比例し、2回以上重なって起きる確率は無視できる」という意味である。この4条件から $N(t)$ の分布が決まる。

証明

$P_k(t)=P(N(t)=k)$ とおく。区間 $[0,t+h]$ を、$[0,t]$ と残りの短い区間に分ける。独立増分と定常増分を使うと

$$P_0(t+h)=P(N(t)=0)\,P(N(t+h)-N(t)=0)=P_0(t)\{1-\lambda h+o(h)\}.$$

$P_0(t)$ を移項して $h$ で割る。$h\to0$ とすると $P_0'(t)=-\lambda P_0(t)$ を得る。初期値 $P_0(0)=1$ から $P_0(t)=\mathrm{e}^{-\lambda t}$ である。

$k\ge1$ では、区間 $(t,t+h]$ に起きる回数を 0 回・1 回・2 回以上の3通りに分けて

$$P_k(t+h)=P_k(t)\{1-\lambda h\}+P_{k-1}(t)\lambda h+o(h)$$

となる。同じ操作で次の微分方程式を得る。

$$P_k'(t)=-\lambda P_k(t)+\lambda P_{k-1}(t).$$

$Q_k(t)=\mathrm{e}^{\lambda t}P_k(t)$ とおくと、次のようになる。

$$Q_k'(t)=\mathrm{e}^{\lambda t}\{P_k'(t)+\lambda P_k(t)\}=\lambda Q_{k-1}(t),\qquad Q_k(0)=0\ (k\ge1),\qquad Q_0(t)=1.$$

1 から順に積分すると、$Q_1(t)=\lambda t$、$Q_2(t)=(\lambda t)^2/2$ となる。帰納法で $Q_k(t)=(\lambda t)^k/k!$ となり、$P_k(t)=\mathrm{e}^{-\lambda t}(\lambda t)^k/k!$ を得る。

後半の分布は、定常増分から $N(t)-N(s)$ が $N(t-s)$ と同じ分布に従うことによる。独立性は条件2そのものである。

ベルヌーイ過程との関係も確かめておく。区間 $[0,t]$ を、幅 $t/n$ の小区間に等分する。各小区間で事象が起きる確率を $p=\lambda t/n$ としたベルヌーイ過程を考えると、回数は $\mathrm{Bin}(n,\lambda t/n)$ に従う。その確率関数は

$$\binom{n}{k}\Bigl(\frac{\lambda t}{n}\Bigr)^k\Bigl(1-\frac{\lambda t}{n}\Bigr)^{n-k} =\frac{(\lambda t)^k}{k!}\cdot\frac{n(n-1)\cdots(n-k+1)}{n^k}\cdot\Bigl(1-\frac{\lambda t}{n}\Bigr)^{n}\Bigl(1-\frac{\lambda t}{n}\Bigr)^{-k}$$

と分けられる。$n\to\infty$ で第2因子と第4因子は 1 に、第3因子は $\mathrm{e}^{-\lambda t}$ に収束する。したがってポアソン過程は、ベルヌーイ過程の時間の刻みを細かくし、1刻みあたりの確率をそれに比例して小さくした極限になっている。

到着間隔と到着時刻

$n$ 回目の事象が起きる時刻を $T_n$ とする。ただし $T_0=0$ とおく。到着間隔を $W_n=T_n-T_{n-1}$ とする。

証明

$W_1>t$ は「時刻 $t$ までに1回も起きない」ことと同じである。よって

$$P(W_1>t)=P(N(t)=0)=\mathrm{e}^{-\lambda t},$$

つまり $W_1\sim\mathrm{Ex}(\lambda)$ である。

$W_1=s$ が与えられたとする。そのもとで $W_2>t$ は、「区間 $(s,s+t]$ に1回も起きない」ことである。

独立増分と定常増分から、この確率は $\mathrm{e}^{-\lambda t}$ で、$s$ によらない。よって $W_2$ は $W_1$ と独立で、同じ指数分布に従う。同じ議論を繰り返せば全体の独立性が従う（厳密には到着時刻での条件付けが必要で、これはポアソン過程の強マルコフ性と呼ばれる性質による）。

ガンマ分布の形は、事象の等式 $\{T_n\le t\}=\{N(t)\ge n\}$ から直接出す。左辺は「$n$ 回目の到着が時刻 $t$ 以前」を表す。右辺は「時刻 $t$ までに $n$ 回以上起きている」を表し、両者は同じことである。

$$P(T_n\le t)=1-\sum_{k=0}^{n-1}\mathrm{e}^{-\lambda t}\frac{(\lambda t)^k}{k!}$$

を $t$ で微分する。各項の微分は次のとおりである（$k=0$ では第2項なし）。

$$\lambda\mathrm{e}^{-\lambda t}\Bigl\{\frac{(\lambda t)^k}{k!}-\frac{(\lambda t)^{k-1}}{(k-1)!}\Bigr\}$$

和をとると隣どうしが打ち消し合い、最後の $\lambda\mathrm{e}^{-\lambda t}(\lambda t)^{n-1}/(n-1)!$ だけが残る。これが (12.3) である。これはガンマ分布の密度 $t^{n-1}\mathrm{e}^{-t/\beta}/(\Gamma(n)\beta^n)$ に、$\beta=1/\lambda$ を入れたものに一致する。

この定理から、$E[T_n]=n/\lambda$ と $V[T_n]=n/\lambda^2$ が独立な指数分布の和として直ちに出る。逆向きに、独立な $\mathrm{Ex}(\lambda)$ の到着間隔を並べて計数過程を作ると、ポアソン過程になることも示せる。だから2つの見方（回数がポアソン分布・間隔が指数分布）は、ポアソン過程の同値な定義になる。

証明

$0<t_1<\dots<t_n<t$ と小さな $h>0$ をとる。各 $t_i$ のまわりに幅 $h$ の区間を置く（区間どうしは重ならないとする）。「各区間にちょうど1回ずつ起き、それ以外の部分では1回も起きない」確率は、独立増分から

$$(\lambda h\mathrm{e}^{-\lambda h})^n\mathrm{e}^{-\lambda(t-nh)}=\lambda^nh^n\mathrm{e}^{-\lambda t}$$

である。これを $P(N(t)=n)=\mathrm{e}^{-\lambda t}(\lambda t)^n/n!$ で割り、さらに $h^n$ で割る。$h\to0$ とすると条件付き密度 $n!/t^n$ を得る。

これは $n$ 個の独立な $\mathrm{U}(0,t)$ の順序統計量の同時密度に一致する。第5章 §5.4 の $n!\prod f(t_i)$ に、$f=1/t$ を入れたものである。

この定理は「何回起きたかを知ったうえでは、いつ起きたかは区間の中で一様にばらまかれている」ことを言っている。特に $s<t$ を固定し、$N(t)=n$ のもとでの条件付き分布を考える。$N(s)$ は一様な点のうち $[0,s]$ に落ちる個数である。よってその条件付き分布は $\mathrm{Bin}(n,s/t)$ になる。

強度の推定

区間 $[0,T]$ でポアソン過程を観測し、到着時刻 $t_1<\dots<t_n$ を得たとする。条件付き一様性の証明と同じ計算で、この観測の尤度は $L(\lambda)=\lambda^n\mathrm{e}^{-\lambda T}$ となる（到着時刻の位置には母数が入らない）。対数尤度 $\ell(\lambda)=n\log\lambda-\lambda T$ を微分して 0 とおけば

$$\hat\lambda_{\mathrm{ML}}=\frac{N(T)}{T}\tag{12.4}$$

を得る。尤度が $N(T)$ だけを通して母数に依存するので、$N(T)$ は十分統計量である。$N(T)\sim\mathrm{Po}(\lambda T)$ から、推定量の期待値と分散は次のとおりである。

$$E[\hat\lambda]=\lambda,\qquad V[\hat\lambda]=\frac{\lambda}{T}.$$

一方、Fisher 情報量は次のとおりである。

$$-E\Bigl[\frac{\partial^2\ell}{\partial\lambda^2}\Bigr]=\frac{E[N(T)]}{\lambda^2}=\frac{T}{\lambda}.$$

よって Cramér–Rao の下限は $\lambda/T$ で、$\hat\lambda$ の分散はこれに一致する（第6章で扱った有効推定量の例になっている）。

確認テスト

オリジナル

1. 12.1-1 幾何分布 (12.1) に従う $T_1$ について、非負整数 $s,t$ に対し次を示せ。

$$P(T_1>s+t\mid T_1>s)=P(T_1>t).$$ 2. 12.1-2 強度 $\lambda=2$ のポアソン過程で、(a) $P(N(1)=1,\ N(3)=4)$ を求めよ。(b) $P(N(1)=1\mid N(3)=4)$ を求めよ。3. 12.1-3 強度 $\lambda$ のポアソン過程と $0<s<t$ を考える。$\mathrm{Cov}(N(s),N(t))$ と相関係数を求めよ。4. 12.1-4 確率変数 $W_1,W_2$ は独立に $\mathrm{Ex}(\lambda)$ に従う。和 $T_2=W_1+W_2$ の密度を、たたみ込みの積分で求めよ。