この章のまとめ

確率論入門　第10章 §10.5

この章の不等式はすべて、Markov の不等式 $P(X\ge a)\le E[X]/a$ を出発点にしている。その証明は「$a\mathbf 1_{\{X\ge a\}}\le X$ の期待値をとる」という1行である。階段の関数の上にどの関数を置くかによって、さまざまな評価が得られる。

• $(X-\mu)^2$ を置くと、Chebyshev の不等式 $P(\left\vert X-\mu\right\vert \ge a)\le\sigma^2/a^2$ になる。
• 平行移動を最適化すると、片側の Cantelli の不等式になる。

Chebyshev の上限は、平均と分散だけを仮定する限り改良できない。このことを3点分布で確かめた。

Jensen の不等式 $\psi(E[X])\le E[\psi(X)]$ は、凸関数のグラフに下から引いた支持直線の期待値をとることで証明した。そこから次を導いた。

• $L^p$ のノルム $\left\Vert X\right\Vert _p$ が、指数について非減少であること（Lyapunov の不等式）。
• Young の不等式を経て Hölder の不等式、さらに Minkowski の不等式。Minkowski の不等式によって、$p\ge1$ の $L^p$ はノルム空間になる。第11章の $L^p$ 収束は、このノルムで測る。
• Cauchy–Schwarz の不等式からは、非負の確率変数が正になる確率を下から抑える Paley–Zygmund の不等式。

$\mathrm{e}^{tX}$ に Markov の不等式を使った Chernoff 限界は、積率母関数を通してすべてのモーメントの情報を一度に使う。独立同分布の和では $K_{S_n}=nK_X$ なので、裾の確率は $\mathrm{e}^{-nI_X(a)}$ の形で、項数について指数的に減る。正規・Poisson・Bernoulli・指数分布のレート関数を計算し、Bernoulli の場合が Kullback–Leibler 情報量になることを見た。

分布が分からなくても有界であれば、Hoeffding の補題で積率母関数を $\mathrm{e}^{t^2(b-a)^2/8}$ で抑えることができる。そこから Hoeffding の不等式が得られる。

$$P(S_n-E[S_n]\ge s)\le\mathrm{e}^{-2s^2/\sum(b_i-a_i)^2}$$

割合の推定に必要な試行回数は、Chebyshev では $1/\delta$ に、Hoeffding では $\log(1/\delta)$ に比例する。

Kolmogorov の不等式は、独立で平均 0 の和の途中の最大値の確率を、最後の時刻の Chebyshev の上限 $V[S_n]/a^2$ で抑える。初めて $a$ に達した時刻で事象を分け、その後の増分が独立で平均 0 であることを使うのが証明の要点だった。その応用として、分散の和が有限な独立な確率変数の級数は、ほとんど確実に収束することを示した。

次の第11章では、確率変数列の4つの収束を定義する。Markov の不等式で $L^p$ 収束から確率収束を導き、Hölder と Lyapunov の不等式を一様可積分性の議論で使う。第12章では、次のように使う。

• Chebyshev の不等式で大数の弱法則を示す。
• 4次モーメントの Markov の不等式と Borel–Cantelli の補題で、強法則を示す。
• Kolmogorov の不等式と定理 10.22 を、3級数定理と Kolmogorov の強法則の筋で使う。