確率変数の分散

統計学の復習　第4章 §4.7　★★★ $V[X]=E[X^2]-E[X]^2$・$V[aX+b]=a^2V[X]$・標準化・Chebyshev の不等式を導出つきで

定義と計算の公式

期待値は分布の位置を表すが、散らばりの大きさは表さない。値が期待値からどれだけ離れているかを、離れ方の2乗の期待値で測る。

定理 4.10 を $g(x)=(x-\mu)^2$ に使えば、離散型では $V[X]=\sum(x_i-\mu)^2p(x_i)$、連続型では $V[X]=\int(x-\mu)^2f(x)\,\mathrm{d} x$ である。分散の単位は $X$ の単位の2乗なので、$X$ と同じ単位で散らばりを述べたいときは標準偏差を使う。

(1) から $E[X^2]\ge(E[X])^2$ が常に成り立つ（分散は負にならない）。計算で $E[X^2]<(E[X])^2$ が出たら、どこかが誤っている。(2) で分散に $a$ を1回だけ掛ける誤り（$V[3X]=3V[X]$ とする誤り）は、2級の頻出の失点である。$X$ が $3$ 倍になれば偏差も $3$ 倍になり、その2乗は $9$ 倍になる。(3) は、2乗の誤差で測る限り「最も良い1点の予想」は期待値であることを表す。第2章の平均がデータの偏差平方和を最小にする性質の、分布の版である。

標準化

(2) を $a=1/\sigma$、$b=-\mu/\sigma$ に使うと、次の標準化が得られる。

$$Z=\frac{X-\mu}{\sigma}\quad\Longrightarrow\quad E[Z]=\frac{\mu-\mu}{\sigma}=0,\qquad V[Z]=\frac{1}{\sigma^2}V[X]=1.\tag{4.9}$$

標準化は特定の分布の公式ではなく、「期待値を引いて標準偏差で割る」という操作の名前で、どの分布にも使える。第6章では正規分布に、第8章では標本平均 $\bar X$（期待値 $\mu$、標準偏差 $\sigma/\sqrt n$）にこの操作を施して、数表の $z_\alpha$ と比べる。

Chebyshev の不等式

分散が小さければ、値は期待値の近くに集まるはずである。このことを、分布の形を何も仮定せずに定量化したのが次の不等式である。

証明で捨てた部分と、$(x-\mu)^2$ を $\varepsilon^2$ で下から押さえた部分の2か所で値が減っているので、評価は一般に粗い。図 4.3 のように、$k=2$ では上界 $0.25$ に対して、正規分布の実際の確率は $0.0455$ である。それでも、分布の形が分からない場面で使えることと、証明が2行で済むことに価値がある。第8章では、この不等式を標本平均に使って大数の法則を示す。

図 4.3　期待値から $k\sigma$ 以上離れる確率 $P(\lvert X-\mu\rvert \ge k\sigma)$。赤の実線が Chebyshev の上界 $1/k^2$、青の実線が正規分布の値 $2\{1-\Phi(k)\}$、緑の破線が一様分布の値 $\max(0,\,1-k/\sqrt3)$。どの分布も赤の線の下にあり、上界は分布の形を問わずに成り立つ。

確認テスト

オリジナル

1. 4.7-1 公正なサイコロの目 $X$ について $V[X]$ と $V[-3X+2]$ を求めよ。
2. 4.7-2 区間 $(0,1)$ 上の一様分布に従う $U$ の分散を $E[U^2]-(E[U])^2$ で求め、$X=a+(b-a)U$（$a<b$）の分散が $(b-a)^2/12$ になることを示せ。
3. 4.7-3 密度 $f(x)=6x(1-x)$（$0\le x\le1$）の $X$ について、$E[X]$、$E[X^2]$、$V[X]$ を求めよ。
4. 4.7-4 $V[X]=0$ なら $P(X=\mu)=1$ となることを、Chebyshev の不等式を使って示せ。
5. 4.7-5 密度 $f(x)=\frac12e^{-x/2}$（$x\ge0$）の $X$ の期待値と分散を求め、$P(\lvert X-\mu\rvert \ge4)$ について Chebyshev の上界と実際の値（小数第4位まで）を比べよ。