マルコフ性と遷移確率行列

定義 14.20（マルコフ連鎖 ★★★）

$S$ 上の数の組 $P=(p_{ij})_{i,j\in S}$ が

$$p_{ij}\ge0,\qquad\sum_{j\in S}p_{ij}=1\qquad(i\in S)$$

を満たすとき、$P$ を確率行列（遷移確率行列）と呼ぶ。状態空間上の確率 $\mu=(\mu_i)_{i\in S}$ と確率行列 $P$ をとる。過程 $(X_n)_{n\ge0}$ が次の2条件

1. (M1) $P(X_0=i)=\mu_i$（$i\in S$）
2. (M2) 条件の事象の確率が正であるすべての時刻と状態について

$$P(X_{n+1}=j\mid X_0=i_0,\dots,X_{n-1}=i_{n-1},X_n=i)=p_{ij}$$

を満たすとき、初期分布 $\mu$・遷移確率行列 $P$ の（時間的に一様な）マルコフ連鎖と呼ぶ。

定理 14.21（有限次元分布 ★★★）

次の2つは同値である。

• $(X_n)$ は、与えられた初期分布と遷移確率行列 $P$ をもつマルコフ連鎖である。
• 次の等式が成り立つ。

すべての $n$ と $i_0,\dots,i_n\in S$ について

$$P(X_0=i_0,X_1=i_1,\dots,X_n=i_n)=\mu_{i_0}\,p_{i_0i_1}\,p_{i_1i_2}\cdots p_{i_{n-1}i_n}\tag{14.11}$$

である。

定理 14.22（マルコフ連鎖の構成 ★★）

状態に $S=\{s_1,s_2,\dots\}$ と番号をつける。各 $i\in S$ について、関数 $f(i,\cdot):(0,1)\to S$ を

$$f(i,u)=s_m\qquad\Bigl(\sum_{l<m}p_{is_l}<u\le\sum_{l\le m}p_{is_l}\Bigr)$$

と定める（$u$ が入る区間の番号の状態を返す。第3章 §3.5 の逆変換法）。$X_0$ を分布 $\mu$ に従う確率変数とする。$U_1,U_2,\dots$ を、$X_0$ と独立な独立同分布の一様乱数の列とする。そのうえで

$$X_{n+1}=f(X_n,U_{n+1})\qquad(n=0,1,2,\dots)$$

と置く。こうして作った $(X_n)$ は、与えられた初期分布と遷移確率行列をもつマルコフ連鎖である。

定理 14.23（マルコフ性の一般形 ★★★）

$A$ を、時刻 $m-1$ までの値で決まる事象とする。つまり $A\in\sigma(X_0,\dots,X_{m-1})$ である。さらに $P(A\cap\{X_m=i\})>0$ とする。このとき

$$\begin{aligned}P\bigl(X_{m+1}=j_1,\dots,X_{m+n}=j_n\bigm| A\cap\{X_m=i\}\bigr)&=p_{ij_1}p_{j_1j_2}\cdots p_{j_{n-1}j_n}\\ &=P_i(X_1=j_1,\dots,X_n=j_n).\end{aligned}$$

すなわち、$X_m=i$ のもとで、その時刻以後の過程 $(X_{m+n})_{n\ge0}$ は過去の事象によらない。それは初期状態 $i$ の連鎖と同じ法則を持つ。

定理 14.24（Chapman–Kolmogorov 方程式 ★★★）

$n$ ステップの遷移確率は、行列の積 $P^n$ の対応する成分に等しい。さらに $m,n\ge0$ について

$$p^{(m+n)}_{ij}=\sum_{k\in S}p^{(m)}_{ik}\,p^{(n)}_{kj}\tag{14.12}$$

が成り立つ。初期分布 $\mu$ を行ベクトルと見ると、時刻 $n$ の分布は次のとおりである。

$$P_\mu(X_n=j)=(\mu P^n)_j$$

定理 14.25（強マルコフ性 ★★★）

自然なフィルトレーション $\mathcal F_n=\sigma(X_0,\dots,X_n)$ の停止時刻 $\tau$ をとる。事象 $A$ が「$\tau$ までの情報で決まる」、すなわち

$$A\cap\{\tau=m\}\in\mathcal F_m\qquad(m=0,1,2,\dots)$$

を満たすとする。さらに $P(A,\ \tau<\infty,\ X_\tau=i)>0$ とする。このとき

$$P\bigl(X_{\tau+1}=j_1,\dots,X_{\tau+n}=j_n\bigm| A,\ \tau<\infty,\ X_\tau=i\bigr)=P_i(X_1=j_1,\dots,X_n=j_n).$$

例題 14.5　3状態の連鎖の計算 ★★

オリジナル$S=\{1,2,3\}$ 上のマルコフ連鎖の遷移確率行列を

$$P=\begin{pmatrix}\frac12&\frac12&0\\[2pt]\frac14&\frac12&\frac14\\[2pt]0&\frac12&\frac12\end{pmatrix}$$

とする。

1. $P^2$ を計算せよ。
2. $P_1(X_1=2,X_2=3,X_3=3)$ を求めよ。
3. $P_1(X_3=3)$ を求めよ。
4. 初期分布が $\mu=(\frac12,0,\frac12)$ のとき、$X_2$ の分布を求めよ。

例題 14.6　2状態の連鎖の $n$ ステップ遷移 ★★★

オリジナル2状態の連鎖

$$P=\begin{pmatrix}1-a&a\\b&1-b\end{pmatrix}\qquad(0<a+b<2)$$

について、次のように置く。

$$\Pi=\frac1{a+b}\begin{pmatrix}b&a\\b&a\end{pmatrix},\qquad D=\frac1{a+b}\begin{pmatrix}a&-a\\-b&b\end{pmatrix}$$

と置く。

1. 次の4つを確かめよ。

$$P=\Pi+(1-a-b)D,\qquad\Pi^2=\Pi,\qquad D^2=D,\qquad\Pi D=D\Pi=O$$

そのうえで $P^n=\Pi+(1-a-b)^nD$ を示せ。2. $a=0.3$ かつ $b=0.1$ とする。5ステップで状態1から状態1へ移る確率 $p^{(5)}_{11}$ を求めよ。