確率ベクトルと同時分布

確率論入門　第4章 §4.3　★★★ 複数の確率変数をまとめて1つの分布で扱い、独立を「同時分布＝周辺分布の積」と言い直す

確率ベクトル

2つ以上の確率変数の関係を調べるには、それらを並べたベクトルを1つの対象として扱うのが便利である。$\mathbb{R}^n$ の Borel 集合族 $\mathcal B(\mathbb{R}^n)$ は、開集合全体が生成する σ加法族である。

証明

まず、$\mathcal B(\mathbb{R}^n)$ が左下に開いた直方体の全体 $\mathcal R$ で生成されることを示す。ここで直方体とは次の形の集合である。

$$(-\infty,\bm x]=(-\infty,x_1]\times\dots\times(-\infty,x_n]$$

これは閉集合なので $\sigma(\mathcal R)\subset\mathcal B(\mathbb{R}^n)$ である。逆に、$\sigma(\mathcal R)$ は差をとって $(a_1,b_1]\times\dots\times(a_n,b_n]$ の形の直方体を含み、その可算個の交わりで開直方体を含む。$\mathbb{R}^n$ の開集合は、頂点の座標が有理数の開直方体の可算和で書けるので、$\sigma(\mathcal R)$ に入る。よって $\sigma(\mathcal R)=\mathcal B(\mathbb{R}^n)$ である。

(i) を示す。$\bm X$ が確率ベクトルなら、各成分の逆像は次のように書ける。

$$X_i^{-1}(B)=\bm X^{-1}(\mathbb{R}\times\dots\times B\times\dots\times\mathbb{R})$$

右辺の集合は $\mathcal B(\mathbb{R}^n)$ に属するから、$X_i$ は確率変数である。逆に各成分が確率変数なら、$\bm X^{-1}((-\infty,\bm x])=\bigcap_i\{X_i\le x_i\}\in\mathcal F$ である。集合族 $\{B\in\mathcal B(\mathbb{R}^n):\bm X^{-1}(B)\in\mathcal F\}$ は σ加法族で $\mathcal R$ を含むから、Borel 集合族全体に一致する。

(ii) を示す。同じ議論で $\mathcal F$ を $\sigma(\sigma(X_1)\cup\dots\cup\sigma(X_n))$ に置き換える。すると $\sigma(\bm X)$ がこれに含まれることが分かる。逆の包含は上の前半の議論から出る。

(iii) を示す。$g(\bm X)^{-1}(B)=\bm X^{-1}(g^{-1}(B))$ で、逆像 $g^{-1}(B)$ は Borel 集合である。よって $g(\bm X)$ は $\sigma(\bm X)$ に関して可測である。

同時分布と周辺分布

$\mathcal R$ は π系である（$(-\infty,\bm x]\cap(-\infty,\bm y]=(-\infty,\min(\bm x,\bm y)]$。$\min$ は成分ごと）。第2章 §2.3 の一意性定理により、同時分布関数が一致する2つの確率ベクトルは同じ同時分布を持つ。1変数の場合（第3章 §3.3）と同じく、同時分布関数は同時分布を1つに決める。

2変数の同時分布関数 $F(x,y)$ は、各変数について単調非減少で右連続であるが、それだけでは足りず、長方形の確率が非負であるという条件

$$P(a<X\le b,\ c<Y\le d)=F(b,d)-F(a,d)-F(b,c)+F(a,c)\ \ge\ 0\qquad(a<b,\ c<d)\tag{4.14}$$

も満たす。この等式は包除の計算である。次の手順を式にしている。

1. 事象 $\{X\le b,Y\le d\}$ から出発する。
2. そこから $\{X\le a,Y\le d\}$ と $\{X\le b,Y\le c\}$ を除く。
3. すると $\{X\le a,Y\le c\}$ を2回除いたことになるので、1回足し戻す。

確率ベクトルの成分1つだけの分布を周辺分布と呼ぶ。$X_1$ の周辺分布は

$$P_{X_1}(B)=P(X_1\in B)=P_{\bm X}(B\times\mathbb{R}^{n-1})$$

で、同時分布から決まる。分布関数で書くと、$x_2,\dots,x_n\to\infty$ のとき $\{X_1\le x_1,\dots,X_n\le x_n\}\uparrow\{X_1\le x_1\}$ だから、連続性 (4.1) により

$$F_{X_1}(x_1)=\lim_{x_2,\dots,x_n\to\infty}F_{\bm X}(x_1,x_2,\dots,x_n)\tag{4.15}$$

となる（各変数を $\infty$ へ送る順序や並べ方によらない。増大列の極限はどれも同じ事象 $\{X_1\le x_1\}$ になるからである）。逆に、周辺分布だけからは同時分布は決まらない。同じ周辺分布を持つが同時分布の異なる例は、確認テスト 4.3-2 の解答で見る。

離散の場合。各 $X_i$ が可算集合に値をとるとき、同時分布は同時確率関数 $p(x_1,\dots,x_n)=P(X_1=x_1,\dots,X_n=x_n)$ で決まり、周辺確率関数は残りの変数について和をとって得られる。2変数なら $p_X(x)=\sum_yp(x,y)$ である。

密度がある場合。非負の Borel 可測関数 $f$ があって、任意の $B\in\mathcal B(\mathbb{R}^n)$ について

$$P(\bm X\in B)=\int_Bf(\bm x)\,\mathrm{d}\bm x\tag{4.16}$$

が成り立つとき、$f$ を同時密度関数と呼ぶ。Lebesgue 積分としての積分の定義は第5章で述べるが、ここでは $f$ が区分的に連続で、積分を累次積分として計算できる場合を念頭に置けば足りる。周辺密度は残りの変数について積分して得られる。2変数なら $P(X\le x)=\int_{-\infty}^x\bigl(\int_{-\infty}^\infty f(s,y)\,\mathrm{d} y\bigr)\mathrm{d} s$ だから

$$f_X(x)=\int_{-\infty}^{\infty}f(x,y)\,\mathrm{d} y,\qquad f_Y(y)=\int_{-\infty}^{\infty}f(x,y)\,\mathrm{d} x\tag{4.17}$$

である。周辺密度が正となる点 $x$ では、$X=x$ のもとでの条件付き密度を次で定める。

$$f_{Y\mid X}(y\mid x)=\frac{f(x,y)}{f_X(x)}$$

これは $y$ の関数として積分すると 1 になる密度で、条件付き確率の定義 (4.3) の分子と分母を密度に置き換えたものに当たる。

独立と積測度

独立性の定義 (4.10) は、同時分布 $P_{\bm X}$ が直積集合 $B_1\times\dots\times B_n$ の上で周辺分布の積に一致することを述べている。この性質で決まる測度に名前を付ける。

証明

一意性は、直方体の全体 $\mathcal R$ が $\mathcal B(\mathbb{R}^n)$ を生成する π系であることと、第2章 §2.3 の一意性定理から従う。存在は、§4.2 の注意（独立同分布の列は存在する）の構成を使う。各 $\mu_i$ に従う独立な確率変数を区間 $[0,1)$ 上に作れば、その同時分布が独立性 (4.10) によって (4.18) を満たす。

（直方体の上で (4.18) により集合関数を定め、Carathéodory の拡張定理（第2章 §2.2）で広げる道もある。その場合に要る直方体の上での σ加法性の確認は測度論の本に譲る。）

証明

(a) から (b) を導く。独立性 (4.10) は次のように書ける。

$$P_{\bm X}(B_1\times\dots\times B_n)=\prod_iP_{X_i}(B_i)$$

よって同時分布は (4.18) を満たし、積測度の一意性から (b) が出る。

(b) から (a) を導く。(b) の両辺を $B_1\times\dots\times B_n$ で評価すれば (4.10) である。

(a) から (c) を導く。$g(\bm x)=f_1(x_1)\cdots f_n(x_n)$ と置き、直方体 $(-\infty,\bm x]$ の上で積分を累次積分にすると

$$\int_{(-\infty,\bm x]}g\,\mathrm{d}\bm y=\prod_{i=1}^n\int_{-\infty}^{x_i}f_i(y_i)\,\mathrm{d} y_i=\prod_iF_{X_i}(x_i)=F_{\bm X}(\bm x)$$

となる（最後の等号は系 4.12）。非負関数の累次積分の順序を入れ替えてよいことは第5章で示す。集合関数 $B\mapsto\int_Bg$ は確率測度で、同時分布と $\mathcal R$ の上で一致する。一意性定理によりすべての Borel 集合で一致するので、$g$ は同時密度である。

(c) から (a) を導く。上の計算を逆にたどると $F_{\bm X}(\bm x)=\prod_iF_{X_i}(x_i)$ が出て、系 4.12 から (a) が従う。

実用上は次の形で使うことが多い。同時密度が、$x$ だけの関数と $y$ だけの関数の積に分かれるとする。

$$f(x,y)=g(x)h(y)$$

このとき $X$ と $Y$ は独立である。実際、(4.17) から次が成り立つ。

$$\begin{aligned}f_X&=g\cdot\textstyle\int h,\qquad f_Y=h\cdot\textstyle\int g,\\ \textstyle\int\!\!\int f&=\textstyle(\int g)(\int h)=1.\end{aligned}$$

よって $f=f_Xf_Y$ となり、(c) が成り立つ。

ただし「積に分かれる」は全平面で成り立たなければならない。次の例のように、密度の値が正になる範囲（台）が長方形でなければ、式の見かけが単純でも独立にならない。

確認テスト

オリジナル

1. 4.3-1 2変数の同時分布関数 $F(x,y)$ について、$\lim_{x\to-\infty}F(x,y)=0$ を示せ。
2. 4.3-2 $X,Y$ はどちらも値 0, 1 をとり、同時確率関数が次であるとする。

$$p(0,0)=0.1,\quad p(0,1)=0.3,\quad p(1,0)=0.2,\quad p(1,1)=0.4.$$

周辺確率関数を求め、$X,Y$ が独立かどうかを判定せよ。また $P(X=1\mid Y=1)$ を求めよ。3. 4.3-3 $(X,Y)$ の同時密度が次であるとする。

$$f(x,y)=\begin{cases}6\mathrm{e}^{-2x-3y} & (x>0,\ y>0)\\ 0 & (\text{それ以外})\end{cases}$$

周辺分布を求めて独立性を判定し、$P(Y<X)$ を求めよ。4. 4.3-4 $(X,Y)$ が三角形 $\{0<y<x<1\}$ 上の一様分布に従うとする（同時密度は三角形の上で2）。周辺密度を求め、2つが独立でないことを示せ。また $P(X>\frac12)$ と $P(Y>\frac12)$ を求めよ。5. 4.3-5 $X,Y$ が独立で、分布関数がそれぞれ $F,G$ であるとする。次を示せ。

$$F_{\max(X,Y)}(t)=F(t)G(t),\qquad F_{\min(X,Y)}(t)=1-(1-F(t))(1-G(t)).$$