エルゴード定理と再生報酬

各周期は有限なので $S_k<\infty$ である。よって $N(t)<\infty$ である。また $t\to\infty$ のとき $N(t)\to\infty$ となる。定義から

$$S_{N(t)}\le t<S_{N(t)+1},\qquad\text{よって}\qquad\frac{S_{N(t)}}{N(t)}\le\frac{t}{N(t)}<\frac{S_{N(t)+1}}{N(t)+1}\cdot\frac{N(t)+1}{N(t)}\tag{15.28}$$

である（$N(t)\ge1$ のとき）。

1. $\mu<\infty$ の場合。 Kolmogorov の強法則（第12章 §12.2）から $S_k/k\to\mu$ a.s. である。$N(t)\to\infty$ なので、左右の辺はどちらも $\mu$ に収束する。よって $t/N(t)\to\mu$ である。
2. $\mu=\infty$ の場合。 $M>0$ について $\xi_k^{(M)}=\min(\xi_k,M)$ と置く。$S_k$ はこの打ち切りの和以上なので、強法則から

$$\liminf_k\frac{S_k}{k}\ge E[\min(\xi_1,M)]\quad\text{a.s.}$$

である。$M\to\infty$ とすると、単調収束定理から右辺は $\infty$ に向かう。よって $S_k/k\to\infty$ a.s. である。(15.28) の左側から $t/N(t)\to\infty$ を得る。

$N(t)\ge1$ のとき

$$\frac{R(t)}{t}=\frac{\sum_{k=1}^{N(t)}R_k}{N(t)}\cdot\frac{N(t)}{t}$$

と分ける。$N(t)\to\infty$ なので、2つの因子はそれぞれほとんど確実に収束する。

• 第1因子は、強法則から $E[R_1]$ に収束する。
• 第2因子は、定理 15.23 から $1/E[\xi_1]$ に収束する。

報酬が周期の途中で得られる場合を考える。時刻 $t$ までに得た報酬を $\tilde R(t)$ とすると

$$R(t)\le\tilde R(t)\le R(t)+R_{N(t)+1}$$

である。$(N(t)+1)/t$ も同じ値に収束するので、右端を $t$ で割ったものも同じ極限をもつ。挟み撃ちで $\tilde R(t)/t$ も同じ極限に収束する。

過渡的な場合。 滞在は有限回なので $V_i(n)$ は有界である。よって $V_i(n)/n\to0=1/m_i$ である。

再帰的な場合。 命題 15.5 から、どこから出発しても $i$ に確率 1 で達する。最初に達した時刻を $\tau_i$ とする。そのあと $1,2,3,\dots$ 回目に戻るまでの間隔を $\xi_1,\xi_2,\dots$ とする（図 15.4）。

• 強マルコフ性を戻る時刻ごとに使うと、間隔 $\xi_1,\xi_2,\dots$ は独立である。どれも $P_i$ のもとでの $T_i$ と同じ分布に従う。よって平均は $m_i$ である。
• 時刻 $n$ までの滞在回数は、最初の到達を起点とする再生過程の回数に1を足したものである。$n>\tau_i$ のとき、式では $N(n-1-\tau_i)+1$ と書ける。

$\tau_i<\infty$ なので、定理 15.23 から $V_i(n)/n\to1/m_i$ である。

関数の時間平均。 正再帰的とし、まず $f\ge0$ とする。各周期の報酬を、その周期のあいだの $f$ の値の和

$$R_k=\sum_{\ell=\tau_i+\xi_1+\cdots+\xi_{k-1}}^{\tau_i+\xi_1+\cdots+\xi_k-1}f(X_\ell)$$

とする。強マルコフ性から、組 $(\xi_k,R_k)$ は独立同分布である。最初の周期の報酬は、$P_i$ のもとでの和 $\sum_{\ell=0}^{T_i-1}f(X_\ell)$ と同じ分布に従う。(15.24) の $\gamma^i$ を使うと

$$E[R_1]=\sum_jf(j)\,\gamma^i_j=\sum_jf(j)\frac{\pi_j}{\pi_i}=m_i\sum_j\pi_jf(j)<\infty$$

である。ここで定理 15.19 の証明の2つの式 $\gamma^i_j=\pi_j/\pi_i$ と $1/\pi_i=m_i$ を使った。最初に $i$ に達するまでの和は有限なので、$n$ で割れば 0 に向かう。定理 15.24（報酬が周期の途中で得られる形）から、時間平均は

$$\frac{E[R_1]}{E[\xi_1]}=\sum_j\pi_jf(j)$$

に収束する。一般の $f$ は $f=f^+-f^-$ と分けて、それぞれに上の結果を使えばよい。