定常分布と極限定理

再帰性から、$T_k<\infty$ が $P_k$-a.s. で成り立つ。両端で $X_0=X_{T_k}=k$ なので、数える範囲を1つずらしても回数は変わらない。

$$\{0,\dots,T_k-1\}\ \to\ \{1,\dots,T_k\}$$

よって

$$\gamma^k_j=E_k\Bigl[\sum_{n=1}^{T_k}\mathbf 1_{\{X_n=j\}}\Bigr]=\sum_{n=1}^\infty P_k(X_n=j,\ n\le T_k)$$

である。事象 $\{n\le T_k\}=\{T_k\le n-1\}^c$ は $\mathcal F_{n-1}$ に属する。そこで1つ前の時刻の状態で分けて、マルコフ性を使うと

$$P_k(X_n=j,\ n\le T_k)=\sum_iP_k(X_{n-1}=i,\ n\le T_k)\,p_{ij}$$

となる。$n$ について足し、$m=n-1$ と置き直すと

$$\gamma^k_j=\sum_ip_{ij}\sum_{m=0}^\infty P_k(X_m=i,\ m\le T_k-1)=\sum_i\gamma^k_ip_{ij}$$

となり、$\gamma^kP=\gamma^k$ である。

既約なので、ある $n,m$ で

$$p^{(n)}_{ki}>0,\qquad p^{(m)}_{ik}>0$$

となる。不変性を $n$ 回繰り返すと $\gamma^kP^n=\gamma^k$ なので

$$\gamma^k_i\ge\gamma^k_k\,p^{(n)}_{ki}=p^{(n)}_{ki}>0,\qquad 1=\gamma^k_k\ge\gamma^k_i\,p^{(m)}_{ik}$$

であり、後者から $\gamma^k_i\le1/p^{(m)}_{ik}<\infty$ である。

不変性の式で $i=k$ の項を分けると

$$\nu_j=p_{kj}+\sum_{i_1\ne k}\nu_{i_1}p_{i_1j}$$

である。右辺の $\nu_{i_1}$ に同じ式を代入することを $n$ 回繰り返すと

$$\nu_j=p_{kj}+\sum_{i_1\ne k}p_{ki_1}p_{i_1j}+\cdots+\sum_{i_1,\dots,i_{n-1}\ne k}p_{ki_{n-1}}\cdots p_{i_1j}+\sum_{i_1,\dots,i_n\ne k}\nu_{i_n}p_{i_ni_{n-1}}\cdots p_{i_1j}$$

となる。最後の項は非負なので捨てられる。残りの第 $m$ 項は、出発点から出て途中で戻らずに、その時刻に $j$ にいる確率である。式では $P_k(X_m=j,\ T_k\ge m)$ と書ける。よって $j\ne k$ について

$$\nu_j\ge\sum_{m=1}^nP_k(X_m=j,\ T_k\ge m)\ \xrightarrow{n\to\infty}\ E_k\Bigl[\sum_{m=1}^{T_k}\mathbf 1_{\{X_m=j\}}\Bigr]=\gamma^k_j$$

である（$j=k$ では両辺とも 1）。

再帰的なら、定理 15.16 から $\gamma^k$ も不変測度である。よって差 $\mu=\nu-\gamma^k$ は非負で、

$$\mu P=\mu,\qquad \mu_k=0$$

を満たす。既約なので、どの状態から見ても、ある時刻 $n$ で $p^{(n)}_{ik}>0$ となる。すると

$$0=\mu_k=\sum_j\mu_jp^{(n)}_{jk}\ge\mu_ip^{(n)}_{ik}$$

から $\mu_i=0$ である。よって $\nu=\gamma^k$ である。

(1) ⇒ (2) は明らかである。

(2) ⇒ (3)：$k$ が正再帰的なら再帰的で、定理 15.4 から連鎖全体が再帰的である。定理 15.16 の不変測度の総和は

$$\sum_i\gamma^k_i=E_k[T_k]=m_k<\infty$$

なので、$\pi=\gamma^k/m_k$ は定常分布である。

(3) ⇒ (1)：$\pi$ を定常分布とする。$\pi_j>0$ となる状態 $j$ がある。既約なので、どの状態 $k$ に対しても、ある時刻で $p^{(n)}_{jk}>0$ となる。よって

$$\pi_k=\sum_i\pi_ip^{(n)}_{ik}\ge\pi_jp^{(n)}_{jk}>0$$

である。$\nu=\pi/\pi_k$ は $\nu_k=1$ の不変測度である。定理 15.17 の前半から $\nu\ge\gamma^k$ なので

$$m_k=\sum_i\gamma^k_i\le\sum_i\frac{\pi_i}{\pi_k}=\frac{1}{\pi_k}<\infty$$

となる。よって $k$ は正再帰的である。$m_k<\infty$ なら $T_k<\infty$ a.s. なので、再帰的でもある。

最後に一意性と (15.25) を示す。連鎖は再帰的なので、定理 15.17 の後半から $\pi/\pi_k=\gamma^k$ である。総和をとると $1/\pi_k=m_k$ を得る。これはどの定常分布にも成り立つので、定常分布はただ1つである。

系 15.6 から再帰的である。定理 15.16 の $\gamma^k$ は有限個の有限な値をもつので、和 $m_k=\sum_i\gamma^k_i$ も有限である。

結合（カップリング）の構成。 初期分布 $\mu$ の連鎖 $(X_n)$ を用意する。これと独立に、定常分布から出発する連鎖 $(Y_n)$ を走らせる。組 $W_n=(X_n,Y_n)$ は、状態空間 $S\times S$ 上のマルコフ連鎖で、遷移確率は

$$\tilde p_{(i,k)(j,l)}=p_{ij}\,p_{kl}$$

である。

$W$ は既約で正再帰的。 上で述べた事実から、十分大きなすべての $n$ で

$$\tilde p^{(n)}_{(i,k)(j,l)}=p^{(n)}_{ij}\,p^{(n)}_{kl}>0$$

となる。よって $W$ は既約である（ここで非周期性を使った）。積 $\tilde\pi_{(i,k)}=\pi_i\pi_k$ は、次を満たすので定常分布である。

$$\sum_{i,k}\pi_i\pi_k\,p_{ij}\,p_{kl}=\pi_j\pi_l$$

定理 15.19 から $W$ は正再帰的で、とくに再帰的である。

出会う時刻は有限。 状態 $b$ を1つ固め、2つの連鎖が出会う時刻を $T=\inf\{n\ge0:X_n=Y_n\}$ と置く。

出会う時刻 $T$ は、組の連鎖が $(b,b)$ に達する時刻以下である。$W$ は既約で再帰的なので、命題 15.5 からその点に確率 1 で達する。よって $P(T<\infty)=1$ である。

出会ったあとは同じ法則。 $T$ は $W$ の停止時刻である。$T\le n$ の上では $X_T=Y_T$ である。強マルコフ性（第14章 §14.4）を組の連鎖に使い、出会った時刻 $m$ と場所 $i$ で分けると

$$P(X_n=j,\ T\le n)=\sum_{m=0}^n\sum_iP(T=m,\ X_m=i)\,p^{(n-m)}_{ij}=P(Y_n=j,\ T\le n)$$

となる（真ん中の式は $X$ と $Y$ について対称である）。

評価。 $Y_n$ の分布は $\pi$ なので、

$$\bigl\lvert P_\mu(X_n=j)-\pi_j\bigr\rvert=\bigl\lvert P(X_n=j,\ T>n)-P(Y_n=j,\ T>n)\bigr\rvert\le P(X_n=j,\ T>n)+P(Y_n=j,\ T>n)$$

である。$j$ について足すと

$$\sum_j\bigl\lvert P_\mu(X_n=j)-\pi_j\bigr\rvert\le2P(T>n)\to0$$

となる。初期分布を $\mu=\delta_i$ とすれば $p^{(n)}_{ij}\to\pi_j$ を得る。$\pi_j=1/m_j$ は定理 15.19 による。