確率論入門 第5章 §5.3 ★★★ 期待値を標本空間の上の積分から実数直線の上の積分へ移す公式 E[g(X)]=∫gdPX。離散の和と密度の積分はその特別な場合になる
前の2節の期待値は、標本空間 Ω の上の積分である。しかし実際の計算では Ω が何であるかを意識しない。分布だけから、∑g(x)p(x) や ∫g(x)f(x)dx を計算する。この節では、その計算が正しいことを示す。
変数変換公式
定理 5.14(変数変換公式 ★★★)
X を確率変数とし、その分布を PX=P∘X−1 とする。g:R→R を Borel 可測関数とする。
- (i) g≥0 なら
E[g(X)]=∫Ωg(X(ω))P(dω)=∫Rg(x)PX(dx)(5.9)
が [0,∞] の値として成り立つ。2. (ii) 一般の g では、次の2つは同値である。
- g(X) が P で可積分である。
- g が PX で可積分である。
そのとき (5.9) が成り立つ。
証明
4段階の構成をそのままなぞる。
指示関数:B∈B(R) に対し g=1B とする。このとき g(X)=1{X∈B} である。左辺は P(X∈B)、右辺は PX(B) で、分布の定義から等しい。
単関数:g=∑iai1Bi なら、g(X)=∑iai1{X∈Bi} も単関数である。両辺の線形性から等式が成り立つ。
非負:非負の g の標準近似列 ϕn↑g をとる((5.6) の確率変数をこの関数に替えたもの。R 上の単関数)。ϕn(X) は標本空間の上の単関数で、ϕn(X)↑g(X) である。単調収束定理を両辺に使えば
E[g(X)]=nlimE[ϕn(X)]=nlim∫ϕndPX=∫gdPX.
一般:∣g∣ に (i) を使うと E[∣g(X)∣]=∫∣g∣dPX となる。よって可積分性は同値である。(g(X))±=g±(X) に (i) を使って差をとれば (5.9) を得る。
証明は X の値域が R であることを使っていない。確率ベクトル X と Borel 可測な g:Rd→R についても、同じ証明で次が成り立つ。
E[g(X)]=∫RdgdPX
とくに E[g(X,Y)] は同時分布 P(X,Y)(第4章 §4.3)だけで決まる。
この定理の重要な帰結として、期待値は分布だけで決まる。同じ分布を持つ2つの確率変数 X,Y は、異なる確率空間の上にあっても E[g(X)]=E[g(Y)] を満たす。
離散分布と密度を持つ分布
系 5.15(和と積分の公式 ★★★)
g を Borel 可測関数とする。g≥0 か、または右辺が ∣g∣ で有限であるとする。
- (i) X が離散分布で、高々可算個の点にそれぞれ確率 p(xi) を持つなら
E[g(X)]=i∑g(xi)p(xi).(5.10)
2. (ii) X が密度 f を持つなら
E[g(X)]=∫Rg(x)f(x)dx.(5.11)
証明
(i) S={x1,x2,…} と置くと PX(Sc)=0 である。命題 5.8 (ii)(PX について)から ∫gdPX=∫g1SdPX である。
g≥0 のとき、g1S=∑ig(xi)1{xi} は非負の項の級数である。系 5.10(PX について)から
∫g1SdPX=i∑g(xi)PX({xi})=i∑g(xi)p(xi).
一般の g は g± に分けて差をとる。
(ii) 示すべき式は ∫gdPX=∫gfdx である。指示関数 g=1B では、左辺は PX(B) である。右辺は ∫Bfdx であり、これは密度の定義そのものである。
単関数へは線形性で広がる。非負の関数へは、標準近似列 ϕn↑g に対して ϕnf↑gf となることと、単調収束定理(両辺に1回ずつ)で広がる。一般の g は g± に分ける。
(i) の条件「右辺が ∣g∣ で有限」は、級数 ∑ig(xi)p(xi) が絶対収束することを意味する。絶対収束する級数は、項の順序を並べ替えても和が変わらない。よって点 xi の番号の付け方によらず、期待値が定まる。条件収束するだけの級数は、並べ替えで和が変わるので期待値とは呼べない(確認テスト 5.1-4 の例)。
Riemann 積分との関係
(5.11) の右辺は Lebesgue 測度による積分である。実際の計算では、これを微積分で習った Riemann 積分として計算する。それが許される理由を示す。
定理 5.16(Riemann 積分との一致 ★★)
f を有界区間 [a,b] 上の有界な Borel 可測関数とする。f が Riemann 積分可能なら、f は Lebesgue 測度で可積分で、2つの積分は一致する。
証明
[a,b] を 2n 等分する。小区間 In,k の上での関数の下限と上限を、mn,k,Mn,k とする。これで階段関数
φn=k∑mn,k1In,k,ψn=k∑Mn,k1In,k
を作る。小区間の端点は可算個で Lebesgue 測度 0 なので、端点での値の決め方は積分に関係しない。
- φn,ψn は単関数である。その Lebesgue 積分は、Darboux の下和 Ln と上和 Un に等しい。
- 分割を細かくすると、下限は大きく、上限は小さくなる。よって φn↑、ψn↓ である。また φn≤f≤ψn である。
- Riemann 積分可能性から、下和と上和 Ln,Un はどちらも Riemann 積分 R に収束する。2等分を繰り返す分割でも、分割の幅が 0 に近づけば Darboux 和は R に収束するからである。
φ=limφn, ψ=limψn と置くと、φ≤f≤ψ である。∣φn∣,∣ψn∣ は f の上界で抑えられるので、有界収束定理から
∫φdx=limLn=R,∫ψdx=limUn=R.
すると ψ−φ≥0 かつ ∫(ψ−φ)dx=0 である。命題 5.8 (i) から ψ=φ a.e. で、f=φ a.e. である。命題 5.8 (iii) から ∫fdx=∫φdx=R を得る。
Riemann 積分と Lebesgue 積分の違い
- Lebesgue 積分だけが定まる例:f=1Q∩[0,1] は、どの小区間でも上限 1、下限 0 なので Riemann 積分可能でない。Lebesgue 積分は Q が可算集合で測度 0 なので 0 である。
- 非負の広義積分:f≥0 なら f1[0,M]↑f である。単調収束定理から
∫0∞fdx=M→∞lim∫0Mfdx.
非負なら、広義 Riemann 積分と Lebesgue 積分は(∞ も含めて)一致する。
- 符号が変わる広義積分:∫0∞xsinxdx は広義 Riemann 積分としては 2π に収束する。しかし区間 [kπ,(k+1)π] の上では x∣sinx∣≥(k+1)π∣sinx∣ なので、
∫kπ(k+1)πx∣sinx∣dx≥(k+1)π2
である。k について足すと発散する。したがって xsinx は Lebesgue 可積分でない。期待値も、絶対値の期待値が有限のときにだけ定義される。
累次積分の順序交換(Tonelli と Fubini)
2変数の関数の積分を、1変数ずつの積分を繰り返して計算する規則を述べる。第4章 §4.3 の同時密度から周辺密度を作る計算や、次の裾の公式の証明で使う。
定理 5.17(Tonelli の定理・Fubini の定理 ★★)
測度空間 (S,S,μ) と (T,T,ν) をとる。どちらも σ 有限とする1可算個の測度有限な集合で全体を覆える測度空間のこと。確率測度と Lebesgue 測度はこれに当たる。。μ⊗ν を、次の σ 加法族の上の積測度とする。
S⊗T=σ({A×B:A∈S,B∈T})
- (i) (Tonelli)h:S×T→[0,∞] が S⊗T 可測とする。このとき x↦∫Th(x,y)ν(dy) は S 可測で
∫S(∫Th(x,y)ν(dy))μ(dx)=∫S×Thd(μ⊗ν)=∫T(∫Sh(x,y)μ(dx))ν(dy).(5.12)
2. (ii) (Fubini)h が ∫∣h∣d(μ⊗ν)<∞ を満たすなら、(5.12) がすべて有限の値で成り立つ。
証明の筋.次の順に広げる。
- 長方形。まず μ,ν が有限の場合を考える。h=1A×B なら、3つの量はどれも μ(A)ν(B) である。
- 可測集合。(5.12) が h=1E について成り立つ集合 E の全体を考える。これは S×T を含み、差と増加列の和で閉じる(単調収束定理を使う)ので λ 系である。長方形の全体は π 系なので、第2章 §2.3 の Dynkin の定理から、S⊗T のすべての集合について成り立つ。
- 関数。単関数へは線形性で広がる。非負の可測関数へは、標準近似列と単調収束定理(3つの積分のそれぞれに)で広がる。
- σ 有限な場合。測度有限な集合に制限して、増加列の極限をとる。
(ii) は h=h+−h− に (i) を使い、有限の量どうしの差をとればよい。可測性と積測度の構成の細部を含む完全な証明は測度論の本に譲る。
非負でも可積分でもないとき
(ii) の可積分性の仮定を外すと、順序を入れ替えた2つの累次積分が異なる値になることがある。∣h∣ の累次積分(これは Tonelli によりどの順序でも同じ値)を先に計算して有限であることを確かめてから、h そのものの順序を入れ替える。
裾の確率で期待値を書く
命題 5.18(裾の公式 ★★★)
X≥0 なら
E[X]=∫0∞P(X>t)dt.(5.13)
とくに X が非負の整数値なら E[X]=∑k=1∞P(X≥k) である。また p>0 について
E[Xp]=∫0∞ptp−1P(X>t)dt.
証明
X(ω) は、0 から X(ω) までの長さとして
X(ω)=∫0∞1{t<X(ω)}dt
と書ける。関数 (t,ω)↦1{t<X(ω)} は可測である。実際、t<X(ω) は「t<q<X(ω) を満たす有理数がある」と同値である。したがって
{(t,ω):t<X(ω)}=q∈Q⋃([0,q)×{X>q})
は長方形の可算和である。Tonelli の定理(S=Ω、T=[0,∞))から
E[X]=∫Ω∫0∞1{t<X(ω)}dtP(dω)=∫0∞P(X>t)dt
となる。整数値の場合は、t∈(k−1,k] で P(X>t)=P(X≥k) なので積分が和になる(直接の証明は確認テスト 5.3-4)。E[Xp] の式は、(5.13) を Xp に使って得る。P(Xp>s)=P(X>s1/p) とし、s=tp と置換すればよい。
密度を掛けて確率測度を作り替える
変数変換公式とは逆向きに、同じ (Ω,F) の上で確率測度を取り替える操作もよく使う。確率変数 Z が Z≥0, E[Z]=1 を満たすとき、
Q(A):=E[Z;A]=∫AZdP(A∈F)(5.14)
と置く。Q(Ω)=E[Z]=1 である。互いに素な事象の列 Ak について Z1⋃Ak=∑kZ1Ak なので、系 5.10 から可算加法性が出る。よって Q は確率測度である。
Q による期待値を EQ と書く。非負または Q で可積分な Y について
EQ[Y]=E[YZ](5.15)
が成り立つ(Y=1A では定義そのもので、あとは4段階の構成をなぞる)。Z が大きい所ほど、新しい測度は P より重みを厚く置く。
また P(A)=0 なら Q(A)=0 である(命題 5.8 (ii))。この性質を「Q は P に対して絶対連続である」という。逆に、P に対して絶対連続な確率測度はすべて (5.14) の形に書ける(Radon–Nikodym の定理)。このときの Z を dQ/dP と書く。
密度 f を持つ分布は、PX が Lebesgue 測度に対して絶対連続な場合にあたる。このとき f=dPX/dLeb である。Radon–Nikodym の定理の証明は測度論の本に譲る。
例題 5.3 同じ期待値を Ω の上と R の上で計算する ★★★
オリジナル設定は次のとおりである。Ω=(0,1) に Lebesgue 測度 P を入れる。λ>0 として X(ω)=−λ1logω と置く。
- (1) X の分布関数を求め、X∼Ex(λ) を示せ。
- (2) E[X2] を次の2通りで計算し、一致を確かめよ。
∫01X(ω)2dω(Ω の上),∫x2λe−λxdx(R の上)
3. (3) 裾の公式で E[X] を求めよ。
解答
(1) x≥0 では
X(ω)≤x⟺logω≥−λx⟺ω≥e−λx
なので、FX(x)=P([e−λx,1))=1−e−λx である。X>0 なので、負の点では FX(x)=0 である。これは密度 λe−λx1x>0 の分布関数である。分布関数は分布を1つに決める(第3章 §3.3)ので、X∼Ex(λ) である。
これは第3章 §3.5 の逆変換法の1つの形でもある。
(2) Ω の上では E[X2]=λ21∫01(logω)2dω である。被積分関数は非負なので、§5.3 の注意(非負の広義積分)が使える。つまり ∫ε1 の ε↓0 の極限として計算してよい。部分積分を2回行うと
∫ε1(logω)2dω=[ω(logω)2]ε1−2∫ε1logωdω=−ε(logε)2−2[ωlogω−ω]ε1
であり、右辺は次に等しい。
−ε(logε)2−2(−1−εlogε+ε)
εlogε→0、ε(logε)2→0 なので、極限は 2 である。よって E[X2]=2/λ2 である。
R の上では、変数変換公式と系 5.15 (ii) から E[X2]=∫0∞x2λe−λxdx である。部分積分により
∫0∞x2λe−λxdx=[−x2e−λx]0∞+∫0∞2xe−λxdx=λ2∫0∞xλe−λxdx=λ2⋅λ1=λ22
となり、一致する(最後の ∫0∞xλe−λxdx=λ1 も同様の部分積分で出る)。
(3) t≥0 で P(X>t)=e−λt である。よって E[X]=∫0∞e−λtdt=λ1 である。
確認テスト
オリジナル
- 5.3-1 公正なサイコロの目を X とし、g(x)=(x−3)2 と置く。E[g(X)] を次の2通りで計算し、一致を確かめよ。(a) 6つの標本点の上の和。(b) Y=g(X) の分布を求めてからの和。
- 5.3-2 非負の確率変数 X を考える。t≥0 で P(X>t)=(1+t)−3 とする。裾の公式で E[X] と E[X2] を求めよ。
- 5.3-3 X∼Ex(1) とし、Z=2e−X と置く。E[Z]=1 を確かめよ。(5.14) の Q のもとで、X の分布を求めよ。また EQ[X] を (5.15) で計算せよ。
- 5.3-4 非負の整数値の確率変数 X について、E[X]=∑k=1∞P(X≥k) を示せ。X=∑k≥11{X≥k} と系 5.10 を使う。
1 可算個の測度有限な集合で全体を覆える測度空間のこと。確率測度と Lebesgue 測度はこれに当たる。
AI(Claude)が書いた教材を、木下が勉強しながら公開しています。式と数値は検算していますが、誤りが残っているかもしれません。誤りのご指摘・削除のご依頼をいただければ直します。 連絡先:support@tecktom.com