期待値

数理統計　第2章 §2.3　★★ 期待値の定義・線形性・裾の公式・分散。Markov・Chebyshev・Jensen の不等式を証明つきで使えるようにする

定義

絶対収束を要求するのは、和の順序や積分の取り方で値が変わらないことを保証するためである。例えばコーシー分布（密度 $1/\{\pi(1+x^2)\}$）は

$$\int\frac{\lvert x\rvert }{\pi(1+x^2)}\,\mathrm{d} x=\infty$$

なので期待値を持たない（確認テスト 2.3-1）。被積分関数は奇関数なので、対称な極限 $\lim_{R\to\infty}\int_{-R}^R$ は0になる。ところが $\int_{-R}^{2R}$ の極限は $(\log 4)/(2\pi)$ になり、取り方で値が変わる。この分布の標本平均は、標本の大きさを増やしても1点に近づかない（第5章）。

関数 $g$ で変換した $g(X)$ の期待値は、その分布を求めなくても

$$E[g(X)]=\sum_kg(x_k)p(x_k),\qquad E[g(X)]=\int_{-\infty}^\infty g(x)f(x)\,\mathrm{d} x\tag{2.10}$$

で計算できる（絶対収束を仮定する）。離散型では、$g(X)=y$ となる点 $x_k$ をまとめれば

$$\sum_yy\,P(g(X)=y)=\sum_y\sum_{k:g(x_k)=y}g(x_k)p(x_k)$$

で、和の順序を入れ替えただけである。連続型の証明は、§2.5 の変数変換の公式から単調な $g$ について確かめられ、一般の場合も測度論で示される。

期待値の性質

(1) の2変数の部分と (3) は2つの確率変数の同時分布を使うので、証明は第4章に回す。1変数の $E[aX+b]=aE[X]+b$ は、式 (2.10) で $g(x)=ax+b$ とし、密度の積分が1であることを使えば直ちに出る。線形性は独立性を仮定しない点が重要で、$n$ 個の確率変数の和の期待値は、従属であっても各期待値の和になる。

非負の確率変数については、分布関数から期待値を求める次の公式が便利である。

証明

確率変数は指示関数の積分として

$$X=\int_0^X\mathrm{d} x=\int_0^\infty\mathbf 1\{x<X\}\,\mathrm{d} x$$

と書ける。両辺の期待値を取る。被積分関数が非負なので、期待値と積分の順序を入れ替えてよい（Fubini–Tonelli の定理）。$E[\mathbf 1\{x<X\}]=P(X>x)$ なので式 (2.11) を得る。

整数値の場合は、$x\in(k-1,k]$ で $P(X>x)=P(X\ge k)$ である。積分を長さ1の区間に分けると和の形になる。

裾の公式は、打ち切りのある観測（例題 2.3）や最小値・最大値の期待値のように、分布関数の方が密度より書きやすい場面で役に立つ。$X^r$ に適用し、$y=x^r$ と置換すると次も得られる。

$$E[X^r]=\int_0^\infty P(X^r>y)\,\mathrm{d} y=\int_0^\infty rx^{r-1}\{1-F(x)\}\,\mathrm{d} x$$

分散と積率

式 (2.12) の第2の等号は、次の展開の期待値を線形性で取れば得られる。

$$E[(X-\mu)^2]=E[X^2-2\mu X+\mu^2]=E[X^2]-2\mu^2+\mu^2$$

実際の計算では右側の形を使うことが多い。定数 $a,b$ について $V[aX+b]=a^2V[X]$ である。平行移動は分散を変えず、尺度の変更は2乗で掛かる。尖度から3を引くのは、正規分布の値 $E[(X-\mu)^4]/\sigma^4=3$ を基準にするためである。

分散と期待値は、2乗誤差の最小化として特徴づけられる。任意の定数 $c$ について

$$E[(X-c)^2]=E[(X-\mu+\mu-c)^2]=V[X]+(\mu-c)^2\tag{2.13}$$

である（交差項 $2(\mu-c)E[X-\mu]$ は0）。したがって2乗誤差 $E[(X-c)^2]$ は、$c=\mu$ でただ1つの最小値を取り、その値は分散である。この分解は第6章で推定量の平均2乗誤差を「分散＋偏りの2乗」に分けるときに、そのまま使う。

絶対誤差 $E\lvert X-c\rvert$ を最小にする定数は中央値になる。中央値からずらすと絶対誤差が減らないことを、観測値がずらした点と中央値の間に入るかどうかの場合分けで示すことができる。

確率の不等式

証明

(1) 確率変数が非負なので、不等式 $X\ge a\mathbf 1\{X\ge a\}$ が常に成り立つ。右辺は $X\ge a$ なら $a$、そうでなければ0だからである。両辺の期待値を取ると、単調性から $E[X]\ge aP(X\ge a)$。

(2) (1) を非負の確率変数 $(X-\mu)^2$ と $a=k^2$ に適用すると

$$P(\lvert X-\mu\rvert \ge k)=P((X-\mu)^2\ge k^2)\le E[(X-\mu)^2]/k^2.$$

Chebyshev の不等式は分布の形を何も仮定しないので、個々の分布に対しては粗い（例題 2.3）。その価値は、分散だけから確率を評価できることにあり、第5章の大数の弱法則の証明はこの不等式1本で済む。

証明

$\mu=E[X]$ とおく。凸関数は各点で支持直線を持つ。すなわち、ある定数 $m$ があって、すべての $x$ で

$$g(x)\ge g(\mu)+m(x-\mu)$$

が成り立つ（微分可能なら $m=g'(\mu)$ で、接線がグラフの下にあることを表す）。$x=X$ として両辺の期待値を取ると、

$$E[g(X)]\ge g(\mu)+m(E[X]-\mu)=g(\mu).$$

$g(x)=x^2$ とすると $E[X^2]\ge(E[X])^2$ で、分散が非負であることと同じ内容になる。$g(x)=-\log x$（凸）とすると、正の確率変数について $E[\log X]\le\log E[X]$ を得る。この不等式は第6章の最尤推定量の一致性の証明や、Kullback–Leibler 情報量が非負であることの証明に現れる。

確認テスト

オリジナル

1. 2.3-1 コーシー分布（密度 $1/\{\pi(1+x^2)\}$）について、$\int_{-\infty}^\infty\lvert x\rvert f(x)\,\mathrm{d} x=\infty$ を示せ。それにより期待値が存在しないことを確かめよ。
2. 2.3-2 幾何分布 (2.4) の平均を、裾の公式（整数値版）で求めよ。さらに $E[X(X-1)]$ を計算して、分散が $(1-p)/p^2$ になることを示せ。
3. 2.3-3 確率変数がポアソン分布 $\mathrm{Po}(\lambda)$ に従うとき、$E[1/(X+1)]$ を求めよ。確率関数は $P(X=k)=e^{-\lambda}\lambda^k/k!$ である。
4. 2.3-4 非負の整数値をとる確率変数について、次を和の順序の入れ替えで（積分を使わずに）示せ。

$$E[X]=\sum_{k=1}^\infty P(X\ge k)$$