期待値の4段階の構成

確率論入門　第5章 §5.1　★★★ 指示関数→単関数→非負→一般の順に期待値を定める。どの近似列をとっても同じ値になること（well-defined）の証明が中心

第1章から第4章までで、確率空間 $(\Omega,\mathcal F,P)$、確率変数とその分布、独立性を用意した。この章では確率変数の「平均の値」である期待値 $E[X]$ を定義する。期待値の公式としては、次の2つを既に知っている読者が多いと思う。

$$\text{離散なら}\ \ \sum_xx\,P(X=x),\qquad\text{密度 } f \text{ を持つなら}\ \ \int xf(x)\,\mathrm{d} x .$$

しかしこの2つは別々の定義であり、離散でも絶対連続でもない分布（第3章 §3.4 の Cantor 分布）には使えない。また、確率変数の列 $X_n$ について $E[\lim X_n]=\lim E[X_n]$ が成り立つかどうかを、この2つの公式から一般的に論じることはできない。

そこで期待値を、確率測度 $P$ による標本空間 $\Omega$ の上の積分

$$E[X]=\int_\Omega X\,\mathrm{d} P$$

として、ただ1つの定義で与える。これが Lebesgue 積分である。

Riemann 積分は定義域の側を細かく区切る。Lebesgue 積分は値の側を区切り、「値がほぼ $y$ である点の集合の確率」に $y$ を掛けて足す。値の側を区切る限り、定義域が $\Omega$ のような抽象的な集合であっても困らない。

この章で使う前の章の結果を、式の形で先に書いておく。

• 第1章 §1.4 の確率測度の下からの連続性

$$A_1\subset A_2\subset\cdots,\quad A=\bigcup_nA_n\quad\Longrightarrow\quad P(A_n)\uparrow P(A)\tag{5.1}$$

を構成の要所で使う。

• 第3章 §3.1 から、確率変数の和・積・上限・各点極限・Borel 可測関数との合成 $g(X)$ がまた確率変数になることを借りる。
• 第3章 §3.2 から、分布 $P_X(B)=P(X\in B)$ が $(\mathbb{R},\mathcal B(\mathbb{R}))$ 上の確率測度であることを借りる。
• 第4章 §4.2・§4.3 から、独立な確率変数の関数がまた独立になること（まとめ方の補題とその系）と、独立性が積の等式で定まることを借りる。

指示関数は第1章と同じく次のように書く。

$$\mathbf 1_A(\omega)=1\quad(\omega\in A),\qquad\mathbf 1_A(\omega)=0\quad(\omega\notin A).$$

この章の結果の使い道も先に書いておく。

• §5.2 の単調収束定理と優収束定理は、極限と期待値を入れ替える根拠として何度も使う。第8章で特性関数を微分してモーメントを出すとき、第11章で収束のあいだの関係を調べるとき、第13章で中心極限定理を示すときである。
• §5.3 の変数変換公式 $E[g(X)]=\int g\,\mathrm{d} P_X$ は、第6章以降のすべての分布の計算の出発点になる。
• §5.4 の「独立なら積の期待値は期待値の積」は、第8章・第9章の「独立和の母関数・特性関数は積」と第12章の大数の法則の前提である。
• §5.5 の全変動距離は、第6章 §6.3 の Poisson 近似の精度と、第11章の分布収束との比較に使う。

第1段：指示関数

事象 $A$ が起きれば 1、起きなければ 0 を返す確率変数が $\mathbf 1_A$ である。その平均は、$A$ の起きる確率そのものであるべきである。そこで

$$E[\mathbf 1_A]\coloneqq P(A)\qquad(A\in\mathcal F)\tag{5.2}$$

と定める。期待値の構成はすべてこの式から出発し、以後の段階は「線形性」と「下からの近似」で値を広げていくだけである。

第2段：単関数

標準形は $s$ からただ1通りに決まる（値の集合と、各値をとる点の集合で定まる）。そこで単関数の期待値を標準形で

$$E[s]\coloneqq\sum_{i=1}^ka_i\,P(s=a_i)\tag{5.4}$$

と定める。これは離散な確率変数の期待値の公式そのものである。

ところが単関数は標準形以外にも多くの書き方を持つ。たとえば $A\cap B\ne\emptyset$ なら、$\mathbf 1_A+\mathbf 1_B$ は標準形ではない。どの書き方で計算しても同じ値になることを確かめておかないと、線形性を示すことができない。

証明

各 $j$ について $B_j^{1}=B_j,\ B_j^{0}=B_j^c$ と書く。$\varepsilon=(\varepsilon_1,\dots,\varepsilon_m)\in\{0,1\}^m$ ごとに

$$C_\varepsilon=B_1^{\varepsilon_1}\cap\cdots\cap B_m^{\varepsilon_m}$$

と置く。これら $2^m$ 個の集合は $\Omega$ の分割である（第1章 §1.3 の原子）。各 $B_j$ は、$\varepsilon_j=1$ となるものたちの互いに素な和である。有限加法性から

$$\sum_{j=1}^mb_jP(B_j)=\sum_{j=1}^mb_j\sum_{\varepsilon:\varepsilon_j=1}P(C_\varepsilon) =\sum_{\varepsilon}P(C_\varepsilon)\sum_{j:\varepsilon_j=1}b_j .$$

$C_\varepsilon$ の上では $s$ は次の定数に等しい。

$$c_\varepsilon=\sum_{j:\varepsilon_j=1}b_j$$

そこで $\varepsilon$ を $c_\varepsilon$ の値ごとにまとめる。$c_\varepsilon=a_i$ となる $C_\varepsilon$ をすべて集める。その和集合はちょうど $\{s=a_i\}$ であるから、

$$\sum_{\varepsilon}c_\varepsilon P(C_\varepsilon)=\sum_ia_i\sum_{\varepsilon:c_\varepsilon=a_i}P(C_\varepsilon)=\sum_ia_iP(s=a_i)=E[s]$$

となる。

証明

(i) $s=\sum_ia_i\mathbf 1_{A_i}$、$t=\sum_jb_j\mathbf 1_{B_j}$ をそれぞれの標準形とする。このとき

$$as+bt=\sum_i(aa_i)\mathbf 1_{A_i}+\sum_j(bb_j)\mathbf 1_{B_j}$$

は $as+bt$ の1つの表し方である。補題 5.2 により、

$$E[as+bt]=a\sum_ia_iP(A_i)+b\sum_jb_jP(B_j)=aE[s]+bE[t]$$

を得る。

(ii) $t-s$ は値がすべて 0 以上の単関数なので、標準形の係数が非負で $E[t-s]\ge0$ である。(i) から $E[t]-E[s]=E[t-s]\ge0$ となる。

第3段：非負の確率変数

非負の確率変数 $X$（値 $+\infty$ も許す）に対しては、下から近づく単関数の期待値の上限として

$$E[X]\coloneqq\sup\bigl\{E[s]:\ s\ \text{は単関数で}\ 0\le s\le X\bigr\}\ \in[0,\infty]\tag{5.5}$$

と定める。$X$ 自身が単関数のときは、命題 5.3 (ii) により上限は $s=X$ で達成される。したがって (5.4) と矛盾しない。

また $0\le X\le Y$ なら、$Y$ の下にある単関数の集合の方が大きい。よって $E[X]\le E[Y]$ である。

(5.5) は上限の形なので、このままでは計算にも線形性の証明にも使いにくい。そこで具体的な近似列を1本用意する。非負の確率変数 $X$ に対して

$$s_n=\sum_{k=0}^{n2^n-1}\frac{k}{2^n}\,\mathbf 1_{\{k2^{-n}\le X<(k+1)2^{-n}\}}+n\,\mathbf 1_{\{X\ge n\}}\tag{5.6}$$

と置く。値の範囲 $[0,n)$ を幅 $2^{-n}$ に区切る。$X$ の値をその区切りの左端に切り下げたものが $s_n$ である。

$s_n$ を $X$ の標準近似列と呼ぶ。次の3つが成り立つ。

• $0\le s_n\le X$ である（切り下げなので）。
• $s_n\le s_{n+1}$ である。区切りを半分にしても、切り下げの値は下がらない。また $\{X\ge n\}$ の上では $s_{n+1}\ge n$ である。
• $s_n\uparrow X$ となる。$X(\omega)<\infty$ の点では、$n>X(\omega)$ から先は

$$0\le X(\omega)-s_n(\omega)<2^{-n}$$

である。$X(\omega)=\infty$ の点では $s_n(\omega)=n\to\infty$ である。

標準近似列は、ある Borel 可測な関数 $\phi_n$ を使って $s_n=\phi_n(X)$ と書ける。この形は §5.4 で独立性を扱うときに使う。

次の補題が構成の要である。これは「下から $X$ に近づく単関数の列であれば、どれを選んでも期待値は同じ値に収束する」ことを保証する。

証明

$E[s_n]$ は命題 5.3 (ii) により単調増加なので、極限は $[0,\infty]$ に存在する。

$0<a<1$ を固定し、$E_n=\{s_n\ge a\,t\}$ と置く。$s_n$ が増加なので $E_1\subset E_2\subset\cdots$ である。さらに $\bigcup_nE_n=\Omega$ が成り立つ。実際、次の2通りしかない。

• $t(\omega)=0$ の点は、すべての $E_n$ に入る。
• $t(\omega)>0$ の点では $\lim_ns_n(\omega)\ge t(\omega)>a\,t(\omega)$ である。よって十分大きな $n$ で $s_n(\omega)\ge a\,t(\omega)$ となる。

$s_n\ge s_n\mathbf 1_{E_n}\ge a\,t\,\mathbf 1_{E_n}$ はどれも単関数の不等式である。$t$ の標準形を $t=\sum_ic_i\mathbf 1_{C_i}$ とする。このとき $t\,\mathbf 1_{E_n}=\sum_ic_i\mathbf 1_{C_i\cap E_n}$ である。命題 5.3 から

$$E[s_n]\ge a\,E[t\,\mathbf 1_{E_n}]=a\sum_ic_i\,P(C_i\cap E_n).$$

$n\to\infty$ とすると、下からの連続性 (5.1) により $P(C_i\cap E_n)\uparrow P(C_i)$ となる。よって

$$\lim_nE[s_n]\ge a\sum_ic_iP(C_i)=a\,E[t].$$

$a\uparrow1$ として補題が従う。

証明

$s_n\le X$ なので、定義 (5.5) から $E[s_n]\le E[X]$ である。よって $\lim E[s_n]\le E[X]$ である。

逆向きを示す。$0\le t\le X$ を満たす任意の単関数 $t$ をとる。$t\le\lim s_n$ なので、補題 5.4 から $\lim E[s_n]\ge E[t]$ である。$t$ について上限をとれば $\lim E[s_n]\ge E[X]$ となる。

この定理から、非負の確率変数の期待値の線形性が出てくる。$X,Y\ge0$ と $a,b\ge0$ をとる。$X,Y$ の標準近似列を $s_n,t_n$ とする。$as_n+bt_n$ は単関数の増加列で、各点で $aX+bY$ に増加収束する。よって

$$E[aX+bY]=\lim_n E[as_n+bt_n]=\lim_n\bigl(aE[s_n]+bE[t_n]\bigr)=aE[X]+bE[Y]\tag{5.7}$$

が $[0,\infty]$ の値として成り立つ（$0\cdot\infty=0$ と約束する）。

第4段：一般の確率変数

一般の確率変数 $X$ を、正の部分と負の部分

$$X^+=\max(X,0),\qquad X^-=\max(-X,0)$$

に分ける。すると次のように書ける。

$$X=X^+-X^-,\qquad\left\vert X\right\vert =X^++X^-$$

$X^\pm$ はどちらも非負の確率変数である。

$E[X^\pm]$ の一方だけが無限大のときも、(5.8) の値を $\pm\infty$ として使うことがある。両方が $+\infty$ のときは $\infty-\infty$ になるので期待値は定義しない（確認テスト 5.1-4）。

証明

(i) 可積分性は $\left\vert aX+bY\right\vert \le\left\vert a\right\vert \left\vert X\right\vert +\left\vert b\right\vert \left\vert Y\right\vert$ と (5.7) から従う。まず $E[X+Y]=E[X]+E[Y]$ を示す。$Z=X+Y$ と置くと $Z^+-Z^-=X^+-X^-+Y^+-Y^-$ なので、移項して

$$Z^++X^-+Y^-=Z^-+X^++Y^+$$

となる。両辺は非負の確率変数の和であり、(5.7) から $E[Z^+]+E[X^-]+E[Y^-]=E[Z^-]+E[X^+]+E[Y^+]$ を得る。すべての項が有限なので移項することができ、$E[Z^+]-E[Z^-]=E[X^+]-E[X^-]+E[Y^+]-E[Y^-]$、すなわち $E[Z]=E[X]+E[Y]$ である。次に定数倍を、$a$ の符号で分けて示す。

• $a\ge0$ なら $(aX)^\pm=aX^\pm$ である。(5.7) から $E[aX]=aE[X]$。
• $a<0$ なら $(aX)^\pm=\left\vert a\right\vert X^\mp$ である。よって

$$E[aX]=\left\vert a\right\vert E[X^-]-\left\vert a\right\vert E[X^+]=aE[X].$$

2つを合わせて (i) を得る。

(ii) $Y-X\ge0$ なので $E[Y-X]=E[(Y-X)^+]\ge0$ である。(i) から $E[Y]-E[X]=E[Y-X]\ge0$ となる。後半は確認テスト 5.1-3 とする。

期待値は確率 0 の集合の上での値の違いを区別しない。これを命題として書いておく。

証明

(i) $k=1,2,\dots$ について $\frac1k\mathbf 1_{\{X>1/k\}}\le X$ である。単調性から $\frac1kP(X>1/k)\le E[X]=0$ となる。$\{X>0\}=\bigcup_k\{X>1/k\}$ は増加列の和である。下からの連続性から $P(X>0)=\lim_kP(X>1/k)=0$ となる。

(ii) 単関数 $s$ が $0\le s\le X\mathbf 1_N$ を満たすとする。$s$ は $N$ の外で 0 である。したがって標準形の 0 でない値をとる集合はすべて $N$ に含まれ、確率が 0 である。よって $E[s]=0$ で、上限をとって $E[X;N]=0$ を得る。

(iii) $N=\{X\ne Y\}$ と置く。$\left\vert Y\right\vert \le\left\vert X\right\vert +\left\vert Y\right\vert \mathbf 1_N$ である。(ii) から $E[\left\vert Y\right\vert \mathbf 1_N]=0$ なので、$Y$ は可積分である。また $\left\vert X-Y\right\vert =\left\vert X-Y\right\vert \mathbf 1_N$ なので、(ii) から $E[\left\vert X-Y\right\vert ]=0$ である。定理 5.7 から

$$\left\vert E[X]-E[Y]\right\vert \le E[\left\vert X-Y\right\vert ]=0.$$

確認テスト

オリジナル

1. 5.1-1 $P(A)=0.5,\ P(B)=0.3,\ P(A\cap B)=0.1$ とする。$s=\mathbf 1_A+\mathbf 1_B$ の標準形を書き、(5.4) から $E[s]=0.8$ を確かめよ。
2. 5.1-2 $\Omega=(0,1]$ に Lebesgue 測度を入れ、$X(\omega)=\lfloor1/\omega\rfloor$ と置く。$P(X=k)$ を求めよ。また $E[X]=\infty$ と $E[1/X]=\dfrac{\pi^2}{6}-1$ を示せ。
3. 5.1-3 可積分な $X$ について $\left\vert E[X]\right\vert \le E[\left\vert X\right\vert ]$ を示せ。
4. 5.1-4 $\Omega=(0,1]$ に Lebesgue 測度を入れる。$\omega\in(\frac1{k+1},\frac1k]$ のとき $X(\omega)=(-1)^kk$ と置く。$E[X^+]=E[X^-]=\infty$ を示せ。級数 $\sum_k(-1)^kk\,P(X=(-1)^kk)$ は収束するのに、その値を $E[X]$ と呼べないのはなぜか。