確認テストの解答

確率論入門　第12章 §12.6

12.1 の解答

1. 12.1-1 すべての番号で $\bar X_n=\frac1n\cdot nX=X$ である。よって標本平均は確率変数 $X$ に（各点で）収束し、定数 $E[X]$ には確率収束しない。実際、$V[X]>0$ なら、ある正の数について $P(\left\vert X-E[X]\right\vert \ge\varepsilon )>0$ となる。共分散は $\mathrm{Cov}(X_j,X_k)=V[X]$ で、番号の差によらない。よって $r(m)\ge V[X]>0$ となり、$r(m)\to0$ が満たされない。
2. 12.1-2 (12.7) を使う場合は、次の同値から最小の $n$ は 2000 である。

$$\frac{1}{4n(0.05)^2}\le0.05\iff n\ge\frac{1}{4\cdot0.0025\cdot0.05}=2000$$

Hoeffding の不等式を使う場合は、次の同値から最小の $n$ は 738 である。

$$2\mathrm{e}^{-2n(0.05)^2}\le0.05\iff\mathrm{e}^{-0.005n}\le0.025\iff n\ge\frac{\log40}{0.005}\approx737.78$$

指数的に減る上界の方が、必要な回数を約 0.37 倍（738/2000）に抑える。3. 12.1-3 分散と共分散は次のとおりである。

$$V[X_k]=\frac14(\sigma^2+\sigma^2)=\frac{\sigma^2}{2},\qquad \mathrm{Cov}(X_k,X_{k+1})=\frac14\mathrm{Cov}(\xi_k+\xi_{k+1},\xi_{k+1}+\xi_{k+2})=\frac14V[\xi_{k+1}]=\frac{\sigma^2}{4}$$

番号の差が2以上では、共通の項が無いので共分散は 0 である。(12.5) から

$$V[S_n]=n\cdot\frac{\sigma^2}{2}+2(n-1)\cdot\frac{\sigma^2}{4}=\frac{(2n-1)\sigma^2}{2}.$$

別の方法では、和を次のように書き直す（中の $\xi_2,\dots,\xi_n$ は2回ずつ現れる）。

$$S_n=\frac12\xi_1+\xi_2+\cdots+\xi_n+\frac12\xi_{n+1}$$

独立性から

$$V[S_n]=\Bigl(\frac14+(n-1)+\frac14\Bigr)\sigma^2=\frac{(2n-1)\sigma^2}{2}$$

となり、一致する。期待値は $\mu$ で、$V[S_n]/n^2=\frac{(2n-1)\sigma^2}{2n^2}\to0$ である。よって定理 12.2 から $\bar X_n\xrightarrow{P}\mu$ である。4. 12.1-4 次のように展開できる。

$$\hat\sigma_n^2=\frac1n\sum_k(X_k-\bar X_n)^2=\frac1n\sum_kX_k^2-2\bar X_n\cdot\bar X_n+\bar X_n^2=\frac1n\sum_kX_k^2-\bar X_n^2$$

各項を順に扱う。

1. 2乗の列は独立同分布で、$E[X_1^2]<\infty$ である。Khinchin の弱法則（定理 12.4）から、$\frac1n\sum_kX_k^2\xrightarrow{P}E[X_1^2]$ である。
2. 同じく $\bar X_n\xrightarrow{P}\mu$ である。
3. 標本平均の2乗について、$\bar X_n^2\xrightarrow{P}\mu^2$ を示す。まず次の分解がある。

$$\left\vert \bar X_n^2-\mu^2\right\vert =\left\vert \bar X_n-\mu\right\vert \,\left\vert \bar X_n+\mu\right\vert$$

$\left\vert \bar X_n-\mu\right\vert <\eta\le1$ なら、$\left\vert \bar X_n+\mu\right\vert <2\left\vert \mu\right\vert +1$ である。そこで $\eta=\min\bigl(1,\varepsilon /(2\left\vert \mu\right\vert +1)\bigr)$ とすると、次が成り立つ。

$$P(\left\vert \bar X_n^2-\mu^2\right\vert \ge\varepsilon )\le P(\left\vert \bar X_n-\mu\right\vert \ge\eta)\to0$$ 4. 2つの確率収束する列の差は確率収束する。次の不等式による。

$$P(\left\vert A_n+B_n-a-b\right\vert \ge\varepsilon )\le P(\left\vert A_n-a\right\vert \ge\varepsilon /2)+P(\left\vert B_n-b\right\vert \ge\varepsilon /2)$$

よって $\hat\sigma_n^2\xrightarrow{P}E[X_1^2]-\mu^2=\sigma^2$ を得る（第11章 §11.4 の連続写像定理を使ってもよい）。

12.2 の解答

1. 12.2-1 2乗の列は独立同分布で、値は区間 [0,1] にある。よって4次モーメントは有限で、定理 12.5 から次が成り立つ。

$$\frac1n\sum_kU_k^2\to E[U_1^2]=\int_0^1u^2\,\mathrm{d} u=\frac13\quad\text{a.s.}$$ 2. 12.2-2 対数をとると $\log(U_1\cdots U_n)^{1/n}=\frac1n\sum_k\log U_k$ である。モーメントは次のとおりである。

$$E[\log U_1]=\int_0^1\log u\,\mathrm{d} u=[u\log u-u]_0^1=-1$$

4次のモーメントは、$u=\mathrm{e}^{-s}$ と置換して次のように有限である。

$$E[(\log U_1)^4]=\int_0^1(\log u)^4\,\mathrm{d} u=\int_0^\infty s^4\mathrm{e}^{-s}\,\mathrm{d} s=\Gamma(5)=24<\infty$$

中心化した4次モーメント $E[(\log U_1+1)^4]$ も、4次以下のモーメントの和で有限である。よって定理 12.5 から、$\frac1n\sum_k\log U_k\to-1$ a.s. である。指数関数は連続なので、相乗平均は確率 1 で $\mathrm{e}^{-1}\approx0.3679$ に収束する。相加平均の極限 $E[U_1]=\frac12$ より小さいことは、相加・相乗平均の不等式と整合する。3. 12.2-3 定理 12.5 の証明と同じく、4乗の展開で期待値が残るのは次の項だけである。

• $Y_i^4$ の形の $n$ 項。期待値は $m_4$ である。
• 異なる添字の $Y_i^2Y_j^2$ の形の $3n(n-1)$ 項。期待値は独立性から $E[Y_i^2]E[Y_j^2]=\sigma^4$ である。

よって $E[(Y_1+\cdots+Y_n)^4]=nm_4+3n(n-1)\sigma^4$ である。$\pm1$ の場合は $Y^2=Y^4=1$ である。よって $\sigma^2=m_4=1$ である。よって値は $n+3n(n-1)=3n^2-2n$ である。

たとえば $n=1$ で 1、$n=2$ で 8 となる。後者は、$(Y_1+Y_2)^4$ が確率 1/2 で 16、確率 1/2 で 0 をとることと一致する。4. 12.2-4 $M>0$ を固定し、$X_k^{(M)}=\min(X_k,M)$ と置く。これは区間 $[0,M]$ に値をとる独立同分布の確率変数である。よって定理 12.5 から

$$\frac1n\sum_kX_k^{(M)}\to E[\min(X_1,M)]\quad\text{a.s.}$$

である。$X_k\ge X_k^{(M)}$ だから、$\liminf_n\bar X_n\ge E[\min(X_1,M)]$ a.s. となる。$M=1,2,\dots$ に対する可算個の確率 1 の事象の共通部分の上で、これが同時に成り立つ。単調収束定理から、$M\to\infty$ で次となる。

$$E[\min(X_1,M)]\uparrow E[X_1]=\infty$$

よって下極限は無限大であり、標本平均は確率 1 で無限大に発散する。

12.3 の解答

1. 12.3-1 数列の級数が収束するかどうかは、最初の $m$ 項を取り除いた級数 $\sum_{n>m}x_n$ が収束するかどうかと同じである（有限個の項の和は有限）。したがって事象は $\{\sum_{n>m}X_n\ \text{が収束する}\}$ に等しい。部分和 $T_k=\sum_{n=m+1}^{m+k}X_n$ は、σ加法族 $\sigma(X_{m+1},X_{m+2},\dots)$ に関して可測である。収束の事象は、次の Cauchy 条件で書ける。

$$\bigcap_{j\ge1}\bigcup_{N\ge1}\bigcap_{k,l\ge N}\{\left\vert T_k-T_l\right\vert \le1/j\}$$

よってこの σ加法族に属する。2. 12.3-2 $A=1$ として、3級数定理の (i) を見る。絶対値が 1 を超えるのは、$n\ge2$ で $X_n=n^2$ のときだけである。よって

$$\sum_nP(\left\vert X_n\right\vert >1)\le\sum_n\frac1{n^2}<\infty$$

である。Borel–Cantelli の第1補題から、確率 1 で有限個の番号を除いて $X_n=0$ となる。よって級数は有限和として収束する。

一方、期待値は $E[X_n]=n^2\cdot\frac1{n^2}=1$ である。各項は非負だから、単調収束定理から $E[\sum_nX_n]=\sum_nE[X_n]=\infty$ である。ほとんど確実に有限な確率変数でも、期待値は無限になりうる。3. 12.3-3 $A=\frac12$ として3級数定理を使う。絶対値が 1/2 を超えるのは $X_n=\pm1$ のときで、その確率は $p_n$ である。切断した変数は $Y_n=X_n\mathbf 1_{\{\left\vert X_n\right\vert \le1/2\}}=0$ なので、(ii) と (iii) は常に 0 の和で収束する。よって級数がほとんど確実に収束することは、(i) $\sum_np_n<\infty$ と同値である。$\sum_np_n=\infty$ のときは、Borel–Cantelli の第2補題から $\left\vert X_n\right\vert =1$ が無限回起きる。項が 0 に近づかないので級数は発散する。これは必要性の部分を直接確かめたことになる。4. 12.3-4 各項 $X_n/n^{1/2+\delta}$ は独立で、平均 0、分散 $\sigma^2/n^{1+2\delta}$ をもつ。分散の和 $\sum_n\sigma^2/n^{1+2\delta}$ は有限である。

よって定理 12.7 から、級数 $\sum_nX_n/n^{1/2+\delta}$ はほとんど確実に収束する。$b_n=n^{1/2+\delta}$ は正で、単調に無限大へ増える。Kronecker の補題から、次が成り立つ。

$$\frac{1}{n^{1/2+\delta}}\sum_{k\le n}X_k\to0\quad\text{a.s.}$$

中心極限定理の尺度 $\sqrt n$ よりわずかに大きい $n^{1/2+\delta}$ で割れば、部分和はほとんど確実に 0 に近づく。

12.4 の解答

1. 12.4-1 $nF_n(x)=\sum_{k\le n}\mathbf 1_{\{X_k\le x\}}$ は、独立な Bernoulli 試行 $n$ 回の成功回数である。成功確率は $P(X_k\le x)=F(x)$ である。よって $\mathrm{Bin}(n,F(x))$ に従う。二項分布の平均と分散から、次を得る。

$$E[F_n(x)]=F(x),\qquad V[F_n(x)]=\frac{nF(x)(1-F(x))}{n^2}=\frac{F(x)(1-F(x))}{n}$$ 2. 12.4-2 $I=\mathrm{e}-1$ であり、$E[\mathrm{e}^{2U}]=\int_0^1\mathrm{e}^{2u}\,\mathrm{d} u=\frac{\mathrm{e}^2-1}{2}$ である。よって

$$\sigma^2=\frac{\mathrm{e}^2-1}{2}-(\mathrm{e}-1)^2\approx3.194528-2.952492=0.242036$$

である。次の同値から、最小の $n$ は 242036 である。

$$\sqrt{E[(\hat I_n-I)^2]}=\frac\sigma{\sqrt n}\le0.001\iff n\ge\frac{\sigma^2}{10^{-6}}\approx242035.6$$ 3. 12.4-3 $1-U$ も一様分布に従うので、$V[\mathrm{e}^{1-U}]=\sigma^2$ である。共分散は次のとおりである。

$$\mathrm{Cov}(\mathrm{e}^U,\mathrm{e}^{1-U})=E[\mathrm{e}^U\mathrm{e}^{1-U}]-(\mathrm{e}-1)^2=\mathrm{e}-(\mathrm{e}-1)^2$$

よって

$$\begin{aligned} V\Bigl[\tfrac12(\mathrm{e}^U+\mathrm{e}^{1-U})\Bigr]&=\frac14\bigl(2\sigma^2+2(\mathrm{e}-(\mathrm{e}-1)^2)\bigr)=\frac{\sigma^2+\mathrm{e}-(\mathrm{e}-1)^2}{2}\\ &\approx\frac{0.242036-0.234211}{2}\approx0.003912 \end{aligned}$$

である。よって $V[\check I_n]\approx0.003912/n$ である。

同じ $2n$ 回の関数値を使う推定値の分散は、$V[\hat I_{2n}]=\sigma^2/(2n)\approx0.121018/n$ である。よって分散は約 1/31 になる。指数関数は単調なので、$\mathrm{e}^U$ と $\mathrm{e}^{1-U}$ は負の相関をもつ。和をとると揺れが打ち消し合う。4. 12.4-4 $Y_k$ は独立同分布である。次の重みも独立同分布である（分母が 0 のときは $W_k=0$ と置く）。

$$W_k=\frac{g(Y_k)f(Y_k)}{q(Y_k)}$$

$Y_k$ の密度が $q$ なので、変数変換公式から

$$E[\left\vert W_1\right\vert ]=\int_{\{q>0\}}\frac{\left\vert g(y)\right\vert f(y)}{q(y)}q(y)\,\mathrm{d} y=\int_{\{q>0\}}\left\vert g\right\vert f\,\mathrm{d} y=\int\left\vert g\right\vert f\,\mathrm{d} y<\infty$$

である（最後の等号は、$\{q=0\}$ の上では仮定から $gf=0$ であることによる）。同じ計算で $E[W_1]=\int gf\,\mathrm{d} y$ となる。Kolmogorov の強法則（定理 12.6）から、次が成り立つ。

$$\tilde I_n=\frac1n\sum_kW_k\to\int gf\,\mathrm{d} y\quad\text{a.s.}$$