確認テストの解答

確率論入門　第10章 §10.6

10.1 の解答

1. 10.1-1 Markov の不等式の上限は $E[X]/3=\frac13$ で、$P(X\ge3)=\frac13$ はその等号の場合である。定理 10.1 の等号の条件から $X\in\{0,3\}$ a.s. である。$E[X]=3P(X=3)=1$ から、値 3 の確率は 1/3、値 0 の確率は 2/3 である。逆にこの分布は $E[X]=1$、$P(X\ge3)=\frac13$ を満たすので、求める分布はこれだけである。

2. 10.1-2 $E[X]=V[X]=4$ である。3つの上限を求める。

   • Markov の不等式から、$P(X\ge10)\le\frac{4}{10}=0.4$ である。
   • $X\ge10$ なら $\left\vert X-4\right\vert \ge6$ である。よって Chebyshev の不等式から、上限は $\frac{4}{36}=\frac19\approx0.111$ である。

Cantelli の不等式では $a=6$ として $P(X-4\ge6)\le\frac{4}{4+36}=0.1$ である。正確な値 0.00813 に対して、上限は順に約49倍、14倍、12倍である。3. 10.1-3 $0<a\le\frac12$ とする。事象 $\left\vert X-\frac12\right\vert \ge a$ は、次の2つの和と同値である。

$$\Bigl\{X\le\frac12-a\Bigr\}\cup\Bigl\{X\ge\frac12+a\Bigr\}$$

よって正確な値は $(\frac12-a)+(1-\frac12-a)=1-2a$ である。

$V[X]=\frac1{12}$ なので Chebyshev の上限は $\frac{1}{12a^2}$ である。これが 1 より小さくなるのは $a^2>\frac1{12}$、すなわち $a>\frac{1}{2\sqrt3}\approx0.289$ のときである。$a=0.4$ では、正確な値が $1-0.8=0.2$ である。上限は $\frac{1}{12\times0.16}=\frac{1}{1.92}\approx0.521$ である。4. 10.1-4 系 10.2 の $p$ 次モーメントの形を $\left\vert X_n-X\right\vert$ に使うと

$$P(\left\vert X_n-X\right\vert \ge\varepsilon )\le\frac{E[\left\vert X_n-X\right\vert ^p]}{\varepsilon ^p}$$

である。$\varepsilon$ を固定して $n\to\infty$ とすると、右辺は仮定から 0 に近づく。左辺は 0 以上なので 0 に近づく。

10.2 の解答

1. 10.2-1 $E[X]=\frac{1+2+4}{3}=\frac73$、$E[1/X]=\frac13\bigl(1+\frac12+\frac14\bigr)=\frac13\cdot\frac74=\frac{7}{12}\approx0.583$ である。$1/E[X]=\frac37\approx0.429$ なので $E[1/X]\ge1/E[X]$ が成り立つ。対数については

$$E[\log X]=\frac13(\log1+\log2+\log4)=\frac13\log8=\log2\approx0.693,\qquad\log E[X]=\log\frac73\approx0.847$$

なので、$E[\log X]\le\log E[X]$ が成り立つ。指数をとると、相乗平均 $(1\cdot2\cdot4)^{1/3}=2$ が相加平均 $\frac73$ 以下であることを表している。2. 10.2-2 正確な値は $E[X^2]=\frac13\approx0.3333$ である。$p=3$、$q=\frac32$ の Hölder の不等式から

$$E[X\cdot X]\le\bigl(E[X^3]\bigr)^{1/3}\bigl(E[X^{3/2}]\bigr)^{2/3}=\Bigl(\frac14\Bigr)^{1/3}\Bigl(\frac25\Bigr)^{2/3}\approx0.630\times0.543\approx0.342$$

である（$E[X^r]=\int_0^1x^r\,\mathrm{d} x=\frac1{r+1}$ を使った）。$p=q=2$ では $\sqrt{E[X^2]E[X^2]}=E[X^2]=\frac13$ で等号になる。2つの因子が同じ $X$ なので、指数を等しく割り当てた Cauchy–Schwarz では Young の不等式の等号条件 $U^2=V^2$ が満たされるからである。3. 10.2-3 $\left\Vert X\right\Vert _2=\sqrt{E[X^2]}=1$、$\left\Vert X\right\Vert _4=3^{1/4}\approx1.316$ である。$\left\Vert X\right\Vert _1=E[\left\vert X\right\vert ]$ は、対称性と $\phi'(x)=-x\phi(x)$ から

$$E[\left\vert X\right\vert ]=2\int_0^\infty x\,\frac{\mathrm{e}^{-x^2/2}}{\sqrt{2\pi}}\,\mathrm{d} x=\frac{2}{\sqrt{2\pi}}\Bigl[-\mathrm{e}^{-x^2/2}\Bigr]_0^\infty=\sqrt{\frac2\pi}\approx0.798$$

である。$0.798<1<1.316$ となり、Lyapunov の不等式の順に並んでいる。4. 10.2-4 $p\ge1$ では $\left\vert x\right\vert ^p$ は凸である。凸性 (10.9) を $\lambda=\frac12$ で使うと

$$\Bigl|\frac{x+y}{2}\Bigr|^p\le\frac{\left\vert x\right\vert ^p+\left\vert y\right\vert ^p}{2}$$

である。両辺に $2^p$ を掛けると $\left\vert x+y\right\vert ^p\le2^{p-1}(\left\vert x\right\vert ^p+\left\vert y\right\vert ^p)$ を得る。$X,Y\in L^p$ なら、これを各点で使って期待値をとると $E[\left\vert X+Y\right\vert ^p]<\infty$ となる。よって $L^p$ は和で閉じる。5. 10.2-5 $X+Y=\mathbf 1_A+\mathbf 1_{A^c}=1$ なので、$\left\Vert X+Y\right\Vert _p=1$ である。$\left\vert X\right\vert ^p=\mathbf 1_A$ なので

$$\left\Vert X\right\Vert _p=P(A)^{1/p}=2^{-1/p},\qquad\text{同様に}\qquad\left\Vert Y\right\Vert _p=2^{-1/p}$$

である。したがって $\left\Vert X\right\Vert _p+\left\Vert Y\right\Vert _p=2\cdot2^{-1/p}=2^{1-1/p}$ である。$0<p<1$ では指数 $1-\frac1p$ が負である。よって $2^{1-1/p}<1=\left\Vert X+Y\right\Vert _p$ となり、三角不等式が成り立たない。

10.3 の解答

1. 10.3-1 $M_Z(t)=\mathrm{e}^{t^2/2}$ なので、$\mathrm{e}^{-ta}M_Z(t)=\exp\bigl(\frac{t^2}{2}-ta\bigr)$ である。指数の2次式は

$$\frac{t^2}2-ta=\frac12(t-a)^2-\frac{a^2}2$$

で、$t=a\ge0$ のとき最小値 $-\frac{a^2}{2}$ をとる。よって下限は $\mathrm{e}^{-a^2/2}$ である。$a=3$ では $\mathrm{e}^{-4.5}\approx0.0111$ で、正確な値 0.00135 の約8倍である。この差は、Mills の比 (10.28) の因子 $\frac{1}{a\sqrt{2\pi}}\approx0.133$ に相当する。2. 10.3-2 試行回数は 100、成功確率は 1/2、割合の閾値は $a=0.75$ である。(10.26) から

$$\begin{aligned} D(0.75\,\|\,0.5)&=0.75\log\frac{0.75}{0.5}+0.25\log\frac{0.25}{0.5}=0.75\log1.5-0.25\log2\\ &\approx0.30410-0.17329=0.13081 \end{aligned}$$

なので、Chernoff 限界は $\mathrm{e}^{-13.081}\approx2.08\times10^{-6}$ である。Hoeffding の不等式では、平均 50、$s=25$、$\sum(b_i-a_i)^2=100$ として

$$\exp(-2\cdot625/100)=\mathrm{e}^{-12.5}\approx3.73\times10^{-6}$$

である。Chebyshev の不等式では、分散 25 から

$$P(S\ge75)\le P(\left\vert S-50\right\vert \ge25)\le\frac{25}{625}=0.04$$

である。正確な値 $2.82\times10^{-7}$ に対して、指数的な2つの上限は1桁の範囲に入り、Chebyshev の上限は5桁大きい。3. 10.3-3 $\mathrm{Ex}(1)$ のレート関数は、(10.27) から $I(a)=a-1-\log a$ である。$a=2$ は平均 1 より大きいので、系 10.17 から

$$P(S_n\ge2n)\le\mathrm{e}^{-n(2-1-\log2)}=\bigl(\mathrm{e}^{\log2-1}\bigr)^n=\Bigl(\frac{2}{\mathrm{e}}\Bigr)^n$$

である。$n=10$ では $(2/\mathrm{e})^{10}\approx0.0465$ で、正確な値 0.00500 の約9倍である。

正確な値の式は次のように確かめられる。$S_n\sim\mathrm{Ga}(n,1)$ で密度は $\frac{x^{n-1}\mathrm{e}^{-x}}{(n-1)!}$ である。$F(s)=\mathrm{e}^{-s}\sum_{k=0}^{n-1}\frac{s^k}{k!}$ と置くと

$$F'(s)=-\mathrm{e}^{-s}\sum_{k=0}^{n-1}\frac{s^k}{k!}+\mathrm{e}^{-s}\sum_{k=1}^{n-1}\frac{s^{k-1}}{(k-1)!}=-\mathrm{e}^{-s}\frac{s^{n-1}}{(n-1)!}$$

である。$s\to\infty$ で $F(s)\to0$ なので、次のようになる。

$$F(s)=\int_s^\infty\frac{x^{n-1}\mathrm{e}^{-x}}{(n-1)!}\,\mathrm{d} x=P(S_n\ge s)$$ 4. 10.3-4 2つの関数の級数展開は

$$\cosh t=\sum_{k\ge0}\frac{t^{2k}}{(2k)!},\qquad\mathrm{e}^{t^2/2}=\sum_{k\ge0}\frac{t^{2k}}{2^kk!}$$

である。分母を比べると

$$(2k)!=\prod_{j=1}^{k}(2j-1)(2j)\ge\prod_{j=1}^k2j=2^kk!$$

なので、各項で前者が後者以下であり、$\cosh t\le\mathrm{e}^{t^2/2}$ を得る。$E[\mathrm{e}^{t\varepsilon _i}]=\frac{\mathrm{e}^t+\mathrm{e}^{-t}}{2}=\cosh t$ なので、独立性から $t>0$ について

$$P(\varepsilon _1+\cdots+\varepsilon _n\ge s)\le\mathrm{e}^{-ts}(\cosh t)^n\le\exp\Bigl(-ts+\frac{nt^2}{2}\Bigr)$$

である。$t=s/n$ で指数は最小値 $-\frac{s^2}{2n}$ をとる。この結果は Hoeffding の不等式で $b_i-a_i=2$ とした $\exp(-2s^2/(4n))$ と一致する。5. 10.3-5 (10.20) から $P(X\le a)\le\inf_{t\le0}\exp\bigl(-ta+\lambda(\mathrm{e}^t-1)\bigr)$ である。$a=\lambda/2<\lambda$ なので、命題 10.16 の後半から上限は $\mathrm{e}^{-I(\lambda/2)}$ に等しい。実際、指数 $g(t)=-ta+\lambda(\mathrm{e}^t-1)$ は、$g'(t)=-a+\lambda\mathrm{e}^t=0$ となる点で最小になる。その点は $t=\log(a/\lambda)=-\log2<0$ である。(10.25) に $a=\lambda/2$ を代入して

$$I\Bigl(\frac\lambda2\Bigr)=\frac\lambda2\log\frac12-\frac\lambda2+\lambda=\frac\lambda2(1-\log2)$$

を得る。$\lambda=20$ では $\mathrm{e}^{-10(1-\log2)}=\mathrm{e}^{-3.069}\approx0.0465$ で、正確な値 0.0108 の約4倍である。

10.4 の解答

1. 10.4-1 $X_i\sim\mathrm U(-1,1)$ は平均 0、分散 $\int_{-1}^1\frac{x^2}{2}\,\mathrm{d} x=\frac13$ である。$V[S_{12}]=12\times\frac13=4$ なので、$P(\max_{k\le12}\left\vert S_k\right\vert \ge4)\le\frac{4}{16}=\frac14$ である。
2. 10.4-2 $n=3$ では $V[S_3]=1+\frac14+\frac19=\frac{49}{36}$ である。よって上限は $\frac{49}{36\times4}=\frac{49}{144}\approx0.340$ である。一般の $n$ では

$$V[S_n]=\sum_{i=1}^n\frac1{i^2}<\sum_{i=1}^\infty\frac1{i^2}=\frac{\pi^2}6$$

なので、上限は $\frac{\pi^2}{6\times4}=\frac{\pi^2}{24}\approx0.411$ より小さい。3. 10.4-3 (a) $S_1=\xi$ かつ $S_2=0$ である。よって最後の分散は 0 で、右辺は 0 である。一方 $\left\vert S_1\right\vert =1$ がつねに成り立つので左辺は 1 である。$X_1,X_2$ はどちらも平均 0 で分散 1 だが、独立でない（$P(X_1=1,X_2=1)=0\ne\frac14=P(X_1=1)P(X_2=1)$）。欠けているのは独立性である。 (b) 定数は互いに独立で、分散は 0 なので右辺は 0 である。一方 $\left\vert S_1\right\vert =1\ge1$ なので左辺は 1 である。欠けているのは平均 0 の仮定である。$X_i-E[X_i]=0$ に使えば $P(\max_k\left\vert S_k-E[S_k]\right\vert \ge1)=0\le0$ となり、正しい形の不等式は成り立つ。4. 10.4-4 $X_n=\varepsilon _nn^{-\alpha}$ は独立で、平均 0、分散 $n^{-2\alpha}$ である。$2\alpha>1$ なので、分散の和は有限である。実際、次の積分と比較すればよい。

$$\int_1^\infty x^{-2\alpha}\,\mathrm{d} x=\frac{1}{2\alpha-1}<\infty$$

定理 10.22 から $\sum_nX_n$ はほとんど確実に収束する。5. 10.4-5 (a) $V[S_{400}]=400$ なので、条件は $\frac{400}{a^2}\le0.01$ である。すなわち $a\ge200$ が必要である。

(b) 確認テスト 10.3-4 の結果を上側と下側に使うと $P(\left\vert S_k\right\vert \ge a)\le2\mathrm{e}^{-a^2/(2k)}\le2\mathrm{e}^{-a^2/800}$（$k\le400$）である。劣加法性から

$$P\Bigl(\max_{k\le400}\left\vert S_k\right\vert \ge a\Bigr)\le\sum_{k=1}^{400}2\mathrm{e}^{-a^2/(2k)}\le800\,\mathrm{e}^{-a^2/800}$$

である。右辺が 0.01 以下となる条件は

$$a^2\ge800\log80000\approx800\times11.290=9031.8$$

すなわち $a\ge95.04$ である。

Kolmogorov の不等式は、劣加法性による 400 倍の損失を持たない。しかし分散しか使わないので、$1/\delta$ の形の弱い評価になる。Hoeffding の不等式は 400 倍の損失を含んでも、指数的な裾によってそれが対数の中に吸収される。よってこの $\delta=0.01$ の場合は、より小さい閾値を与える。