Markov と Chebyshev の不等式

確率論入門　第10章 §10.1　★★★ 非負の確率変数が大きい値をとる確率は平均で抑えられ、平均から外れる確率は分散で抑えられる

ここまでの章では、分布が分かっているときに確率や期待値を計算する方法を整えてきた。しかし実際には、分布の形は分からず、平均と分散、あるいはいくつかのモーメントしか手に入らないことが多い。

また、第11章から第13章で扱う極限定理では、$n$ 個の確率変数の和の分布を正確に書き下すことはできない。それでも「平均から大きく外れる確率」が $n\to\infty$ で 0 に近づくことは示さなければならない。この章では、期待値の情報だけから確率の上限を与える不等式を4つの節に分けて導く。

• §10.1 の Markov の不等式と Chebyshev の不等式は、すべての出発点になる。「非負の量が大きな値をとる確率は、平均を大きな値で割ったもので抑えられる」という1行の主張から、分散による裾の評価が出る。
• §10.2 では、凸関数と期待値の順序を入れ替える Jensen の不等式を示す。そこから $L^p$ のノルムの単調性（Lyapunov の不等式）、Hölder の不等式と Minkowski の不等式を導く。これらは第11章で $L^p$ 収束を扱うときの基本の道具である。
• §10.3 では、Markov の不等式を $\mathrm{e}^{tX}$ に使って、積率母関数による指数的な裾の評価（Chernoff 限界）を作る。そこから有界な確率変数の和に対する Hoeffding の不等式まで進む。
• §10.4 の Kolmogorov の不等式は、和の最後の値だけでなく途中の最大値まで、Chebyshev の不等式と同じ形で抑える。独立な確率変数の級数が収束することの証明に、この不等式を使う。

この章で使う前の章の結果を、式の形で先に書いておく。第5章 §5.1 の期待値の単調性（$X\le Y$ なら $E[X]\le E[Y]$）を何度も使う。指示関数の期待値が確率になること $E[\mathbf 1_A]=P(A)$ も同様である。第5章 §5.1 の命題から、

$$X\ge0,\quad E[X]=0\quad\Longrightarrow\quad X=0\ \ \text{a.s.}\tag{10.1}$$

を借りる。第5章 §5.4 の Cauchy–Schwarz の不等式

$$E[\left\vert XY\right\vert ]\le\sqrt{E[X^2]\,E[Y^2]}\tag{10.2}$$

も使う。独立な確率変数 $X,Y$ が可積分なら $E[XY]=E[X]E[Y]$ であること、独立な確率変数の和の分散が分散の和になることも使う。第4章 §4.2 のまとめ方の補題（独立な確率変数の重ならない組の関数どうしは独立）は §10.4 で使う。

§10.3 では、第8章 §8.2 の積率母関数とキュムラント母関数

$$M_X(t)=E[\mathrm{e}^{tX}],\qquad K_X(t)=\log M_X(t)$$

を使う。独立和について $M_{X+Y}=M_XM_Y$ となることも使う。

この章の結果の使い道も書いておく。

• Markov の不等式は、第11章 §11.2 で「$L^p$ 収束なら確率収束」を示すのに使う。
• Hölder の不等式と Lyapunov の不等式は、第11章 §11.3 の一様可積分性の議論で使う。
• Chebyshev の不等式は、第12章 §12.1 の大数の弱法則の証明そのものである。
• 4次モーメントに対する Markov の不等式は、第12章 §12.2 で強法則を示すときに Borel–Cantelli の補題と組み合わせる。
• Kolmogorov の不等式は、第12章 §12.2・§12.3 で、独立な確率変数の級数と強法則を扱うときの道具になる。

Markov の不等式

非負の確率変数 $X$ の平均が 1 だとする。このとき $X\ge10$ となる確率は 1/10 を超えることはない。

もし $P(X\ge10)>\frac{1}{10}$ なら、その事象の上だけで期待値に $10\times\frac1{10}=1$ より多く寄与してしまう。$X$ は非負なので、ほかの部分で打ち消すこともできない。この考察を一般の形に書いたものが Markov の不等式である。

証明

すべての $\omega$ について

$$a\,\mathbf 1_{\{X\ge a\}}(\omega)\le X(\omega)\tag{10.4}$$

が成り立つ。実際、2つの場合に分けて確かめられる。

• $X(\omega)\ge a$ なら、左辺は $a$ で、右辺はそれ以上である。
• $X(\omega)<a$ なら、左辺は 0 で、右辺は非負である。

(10.4) の両辺の期待値をとる。期待値の単調性と $E[\mathbf 1_{\{X\ge a\}}]=P(X\ge a)$ から、$aP(X\ge a)\le E[X]$ を得る。両辺を $a$ で割れば (10.3) である。

等号の条件を調べる。非負の確率変数 $Y=X-a\mathbf 1_{\{X\ge a\}}$ を考える。$E[X]<\infty$ のもとで等号が成り立つことは、$E[Y]=0$ と同値である。

(10.1) より、これは $Y=0$ a.s.、すなわち $X=a\mathbf 1_{\{X\ge a\}}$ a.s. と同値である。右辺は 0 か $a$ の値しかとらないので、$X\in\{0,a\}$ a.s. となる。逆に $X\in\{0,a\}$ a.s. なら $X=a\mathbf 1_{\{X\ge a\}}$ a.s. であり、両辺の期待値をとると等号が成り立つ。

(10.4) の関係を図 10.1 に示す。Markov の不等式の証明は、この図の次の事実に尽きる。

同じ考え方で、階段の下に別の関数を置くと別の不等式が得られる。

証明

$\psi$ は非減少である。よって $\left\vert X(\omega)\right\vert \ge a$ なら $\psi(\left\vert X(\omega)\right\vert )\ge\psi(a)$ である。つまり

$$\{\left\vert X\right\vert \ge a\}\subset\{\psi(\left\vert X\right\vert )\ge\psi(a)\}$$

が成り立つ。右辺の事象に、非負の確率変数 $\psi(\left\vert X\right\vert )$ の Markov の不等式を使うと

$$P(\left\vert X\right\vert \ge a)\le P\bigl(\psi(\left\vert X\right\vert )\ge\psi(a)\bigr)\le\frac{E[\psi(\left\vert X\right\vert )]}{\psi(a)}$$

を得る。$\psi(x)=x^p$ とすれば $p$ 次モーメントの形になる。

最後の式は次のように示す。関数 $x\mapsto\mathrm{e}^{tx}$ は狭義増加なので、$\{X\ge a\}=\{\mathrm{e}^{tX}\ge\mathrm{e}^{ta}\}$ である。これに、非負の確率変数 $\mathrm{e}^{tX}$ の Markov の不等式を使えばよい。

最後の形は §10.3 の Chernoff 限界の出発点になる。$p$ 次モーメントの形からは、モーメントが有限であることと裾の減り方の関係が分かる。

証明

各点で $a^p\mathbf 1_{\{\left\vert X\right\vert \ge a\}}\le\left\vert X\right\vert ^p\mathbf 1_{\{\left\vert X\right\vert \ge a\}}$ である。期待値をとると

$$a^pP(\left\vert X\right\vert \ge a)\le E\bigl[\left\vert X\right\vert ^p\mathbf 1_{\{\left\vert X\right\vert \ge a\}}\bigr].$$

$a\to\infty$ のとき、右辺の中身は各点で 0 に収束する。$\left\vert X(\omega)\right\vert <\infty$ だから、$a>\left\vert X(\omega)\right\vert$ となったところで 0 になるからである。また中身は $\left\vert X\right\vert ^p$ で抑えられていて、これは可積分である。よって第5章 §5.2 の優収束定理から、右辺は 0 に収束する。

この命題の対偶から、たとえば裾が $P(\left\vert X\right\vert \ge a)\sim a^{-2}$ の速さでしか減らない分布では、2次モーメントが無限大となる。Markov の不等式そのものは $P(\left\vert X\right\vert \ge a)\le E[\left\vert X\right\vert ^p]a^{-p}$ を与えるだけだが、実際には裾はそれより真に速く減っている。

Chebyshev の不等式

Markov の不等式を、平均からのずれの2乗 $(X-\mu)^2$ に使うと、分散で裾を評価する不等式が得られる。

証明

$\{\left\vert X-\mu\right\vert \ge a\}=\{(X-\mu)^2\ge a^2\}$ である。非負の確率変数 $(X-\mu)^2$ に、Markov の不等式を $a^2$ で使うと

$$P(\left\vert X-\mu\right\vert \ge a)=P\bigl((X-\mu)^2\ge a^2\bigr)\le\frac{E[(X-\mu)^2]}{a^2}=\frac{\sigma^2}{a^2}$$

を得る。

Chebyshev の不等式は、分布について平均と分散以外に何も仮定していない。その代わり、特定の分布に対する評価としては粗い。表 10.1 に、平均から $k$ 標準偏差以上離れる確率を、Chebyshev の上限と正規分布の値で比べた。正規分布の値は第6章 §6.2 の正規分布の分布関数 $\Phi$ から $2(1-\Phi(k))$ として計算した。

正規分布の値は上限よりずっと小さい。それでも Chebyshev の不等式は、平均と分散だけを仮定する限りでは改良することができない。$k>1$ を1つ固定し、$X$ を次の3点分布に従う確率変数とする。

$$\begin{array}{c|ccc} \text{値}&\mu-k\sigma&\mu&\mu+k\sigma\\\hline \text{確率}&\frac1{2k^2}&1-\frac1{k^2}&\frac{1}{2k^2} \end{array}$$

この $X$ の平均は対称性から $\mu$ で、分散は

$$V[X]=(k\sigma)^2\cdot\frac1{2k^2}+(k\sigma)^2\cdot\frac{1}{2k^2}=\sigma^2$$

である。そして $P(\left\vert X-\mu\right\vert \ge k\sigma)=\frac1{k^2}$ だから、(10.6) の等号が成り立つ。

平均と分散が同じ分布をすべて考えると、上限 $1/k^2$ はこの3点分布で達成される。正規分布との差は、正規分布の裾が指数関数より速く減るという追加の情報から生じる。§10.3 では、積率母関数を使ってこの種の追加の情報を取り込む。

片側の評価（Cantelli の不等式）

Chebyshev の不等式は $\left\vert X-\mu\right\vert$ を評価するので、上側と下側の両方の裾を合わせた確率を抑えている。上側の裾 $P(X-\mu\ge a)$ だけを評価したいときは、平行移動を1つ入れることで評価を改良することができる。

証明

$Y=X-\mu$ と置く。$E[Y]=0$ かつ $E[Y^2]=\sigma^2$ である。

$u\ge0$ を1つとる。$Y\ge a$ なら $Y+u\ge a+u>0$ である。両辺を2乗して $(Y+u)^2\ge(a+u)^2$ となる。したがって

$$\{Y\ge a\}\subset\{(Y+u)^2\ge(a+u)^2\}$$

であり、Markov の不等式から

$$P(Y\ge a)\le\frac{E[(Y+u)^2]}{(a+u)^2}=\frac{E[Y^2]+2uE[Y]+u^2}{(a+u)^2}=\frac{\sigma^2+u^2}{(a+u)^2}$$

を得る。右辺を $h(u)$ と書き、非負の $u$ について最小化する。商の微分から

$$h'(u)=\frac{2u(a+u)^2-2(\sigma^2+u^2)(a+u)}{(a+u)^4}=\frac{2\bigl(u(a+u)-(\sigma^2+u^2)\bigr)}{(a+u)^3}=\frac{2(au-\sigma^2)}{(a+u)^3}$$

である。よって $h$ は $u=\sigma^2/a$ の左で減少し、右で増加する。この点を代入すると

$$h\Bigl(\frac{\sigma^2}{a}\Bigr)=\frac{\sigma^2+\sigma^4/a^2}{(a+\sigma^2/a)^2}=\frac{\sigma^2(a^2+\sigma^2)/a^2}{(a^2+\sigma^2)^2/a^2}=\frac{\sigma^2}{\sigma^2+a^2}$$

となる。

$u=0$ のとき $h(0)=\sigma^2/a^2$ で、これは Chebyshev の上限と同じ値である。$u$ を最適に選ぶことで、片側の確率に対しては、分母に $\sigma^2$ が加わった分だけ評価が改良される。とくに $a\le\sigma$ では、Chebyshev の上限は 1 以上で何も言っていない。一方 Cantelli の上限は、$a>0$ である限り 1 より小さい。

標本平均への応用

$X_1,\dots,X_n$ が独立で、どれも同じ平均と分散 $\mu,\sigma^2$ をもつとする。標本平均を $\bar X_n=\frac1n(X_1+\cdots+X_n)$ と置く。その平均は $\mu$、分散は第5章 §5.4 の例題で求めたとおり $\sigma^2/n$ である。Chebyshev の不等式から

$$P\bigl(\left\vert \bar X_n-\mu\right\vert \ge\varepsilon \bigr)\le\frac{\sigma^2}{n\varepsilon ^2}\tag{10.8}$$

が任意の $\varepsilon >0$ について成り立つ。右辺は $n\to\infty$ で 0 に近づくので、標本平均は真の平均に確率の意味で近づく。これが第12章 §12.1 で扱う大数の弱法則である。

(10.8) は、さらに「どれだけの $n$ をとれば十分か」という問いに、分布によらない答えを与える。

確認テスト

オリジナル

1. 10.1-1 非負の確率変数 $X$ が、平均 1 で $P(X\ge3)=\frac13$ を満たすとする。$X$ の分布を求めよ。
2. 10.1-2 $X\sim\mathrm{Po}(4)$ とする。$P(X\ge10)$ の上限を、Markov の不等式、Chebyshev の不等式、Cantelli の不等式で求めよ。また正確な値 $P(X\ge10)\approx0.00813$ と比べよ。
3. 10.1-3 $X\sim\mathrm U(0,1)$ とする。$0<a\le\frac12$ について、$P(\left\vert X-\frac12\right\vert \ge a)$ の正確な値と Chebyshev の上限を求めよ。Chebyshev の上限が 1 より小さくなる $a$ の範囲を求めよ。また $a=0.4$ のときの2つの値を比べよ。
4. 10.1-4 $p>0$ とする。確率変数の列と極限が、$E[\left\vert X_n-X\right\vert ^p]\to0$ を満たすとする。任意の $\varepsilon >0$ について、次を示せ。

$$P(\left\vert X_n-X\right\vert \ge\varepsilon )\to0$$