条件付き確率分布と独立性

数理統計　第4章 §4.2　★★★ 条件付き期待値と全分散の公式、密度の因数分解による独立性の判定。階層モデルの計算と十分統計量（第6章）の前提

条件付き確率関数と条件付き密度

離散型では、$P(X=x)>0$ のとき事象の条件付き確率をそのまま使い、

$$p(y\mid x)=P(Y=y\mid X=x)=\frac{p(x,y)}{p_X(x)}$$

を $X=x$ が与えられたときの $Y$ の条件付き確率関数と呼ぶ。連続型では $P(X=x)=0$ なので割り算をそのまま使うことはできない。そこで、$x$ から幅 $h$ の区間で条件を付けてから、幅を0に近づける。$f$ が連続なら

$$P(Y\le y\mid x<X\le x+h)=\frac{\int_x^{x+h}\int_{-\infty}^yf(s,t)\,\mathrm{d} t\,\mathrm{d} s}{\int_x^{x+h}f_X(s)\,\mathrm{d} s} \ \longrightarrow\ \frac{\int_{-\infty}^yf(x,t)\,\mathrm{d} t}{f_X(x)}\qquad(h\to0)$$

となる（分子と分母を $h$ で割り、積分の平均値の極限をとった）。右辺を $y$ で微分したものを密度として採用する。

(4.7) を書き直すと次の形になる。

$$f(x,y)=f_X(x)f(y\mid x)$$

これは、同時密度を「まず $X$ を引き、その値に応じて $Y$ を引く」という2段の手続きで組み立てる式として読める。階層モデル（次の例題）やベイズ推定（第10章）の事後分布は、この形から出発する。

条件付き期待値・全期待値の法則・全分散の公式

証明

(4.8) は次の計算で示せる。

$$E[m(X)]=\int m(x)f_X(x)\,\mathrm{d} x=\int\!\!\int y\,f(y\mid x)f_X(x)\,\mathrm{d} y\,\mathrm{d} x=\iint y\,f(x,y)\,\mathrm{d} x\,\mathrm{d} y=E[Y]$$

後半の性質を示す。$X=x$ を条件とすると $h(X)=h(x)$ は定数なので、次が成り立つ。

$$E[h(X)Y\mid X=x]=\int h(x)y\,f(y\mid x)\,\mathrm{d} y=h(x)m(x)$$

(4.9)：$Y-E[Y]=\{Y-m(X)\}+\{m(X)-E[Y]\}$ と分けて2乗の期待値をとると

$$V[Y]=E\bigl[\{Y-m(X)\}^2\bigr]+E\bigl[\{m(X)-E[Y]\}^2\bigr]+2E\bigl[\{Y-m(X)\}\{m(X)-E[Y]\}\bigr].$$

右辺の3つの項を順に見る。

1. 第3項は、$h(X)=m(X)-E[Y]$ とおき、(4.8) と後半の性質を使うと0になる。

$$E\bigl[E[\{Y-m(X)\}h(X)\mid X]\bigr]=E\bigl[h(X)\{m(X)-m(X)\}\bigr]=0$$ 2. 第1項は、(4.8) を $\{Y-m(X)\}^2$ に使うと次になる。

$$E\bigl[E[\{Y-m(X)\}^2\mid X]\bigr]=E\bigl[V[Y\mid X]\bigr]$$ 3. 第2項は、$E[m(X)]=E[Y]$ なので $V[m(X)]$ である。

全分散の公式 (4.9) の右辺の2つの項は、次のように読める。

• 第1項は「$X$ を固定したあとに残る $Y$ のばらつきの平均」である。
• 第2項は「$X$ が動くことによる $Y$ の平均の動き」である。

分散分析の平方和の分解（第9章・実験計画法）は、この式の標本版である。

同じ分解からもう1つの性質が出る。$X$ の任意の関数 $g(X)$ をとる。上の証明と同じく、$Y-g(X)$ を2つの差に分けて2乗の期待値をとると

$$E\bigl[\{Y-g(X)\}^2\bigr]=E\bigl[\{Y-m(X)\}^2\bigr]+E\bigl[\{m(X)-g(X)\}^2\bigr]\ \ge\ E\bigl[\{Y-m(X)\}^2\bigr]\tag{4.10}$$

となる（交差項は同じ理由で0）。すなわち、2乗誤差を最小にする予測の関数は $E[Y\mid X]$ である。$E[Y\mid X=x]$ を $x$ の関数とみたものを回帰関数と呼ぶ。正確には「$Y$ の $X$ への回帰関数」であり、この名前の理由はここにある。

独立性

密度を持つ場合、この条件は $f(x,y)=f_X(x)f_Y(y)$（ほとんどすべての点で）と同値である（分布関数を $x,y$ で微分する方向と、密度の積を積分する方向の両方で確かめられる）。このとき $f(y\mid x)=f_Y(y)$ となる。$X$ の値を知っても $Y$ の分布は変わらない。

証明

$G=\int g$、$H=\int h$ とおく。このとき $1=\iint f=GH$ である。周辺密度とその積は次のとおりである。

$$\begin{aligned}f_X(x)&=g(x)\int h(y)\,\mathrm{d} y=g(x)H,\qquad f_Y(y)=h(y)G\\ f_X(x)f_Y(y)&=g(x)h(y)GH=f(x,y)\end{aligned}$$

よって独立である。

独立なら、任意の関数 $g,h$ について $E[g(X)h(Y)]=E[g(X)]E[h(Y)]$ が成り立つ（二重積分が積に分かれる）。特に $\mathrm{Cov}(X,Y)=E[XY]-E[X]E[Y]=0$、$V[X+Y]=V[X]+V[Y]$ であり、積率母関数について

$$M_{X+Y}(t)=E[\mathrm{e}^{tX}\mathrm{e}^{tY}]=M_X(t)M_Y(t)\tag{4.11}$$

が成り立つ。第2章で示した「積率母関数が一致すれば分布が一致する」と組み合わせると、独立な和の分布を、積率母関数の積の形から読み取る方法になる（第3章の再生性）。

逆向きは成り立たない。$X\sim\mathrm{N}(0,1)$、$Y=X^2$ とする。$E[X^3]=0$ から

$$\mathrm{Cov}(X,Y)=E[X^3]-E[X]E[X^2]=0$$

だが、$Y$ は $X$ の関数として決まっているので独立ではない。無相関は独立より弱い条件である。ただし §4.4 で示すように、$(X,Y)$ が2変量正規分布に従う場合に限っては、無相関と独立が同値になる。

確認テスト

オリジナル

1. 4.2-1 次の同時密度のそれぞれについて、$X$ と $Y$ が独立かどうかを理由とともに答えよ。(a) $f(x,y)=6xy^2$（$0<x<1,\ 0<y<1$）。(b) $f(x,y)=8xy$（$0<y<x<1$）。
2. 4.2-2 $X\sim\mathrm{U}(0,1)$ とし、$Y$ の条件付き分布を次で定める。

$$Y\mid X=x\ \sim\ \mathrm{U}(0,x)$$

全期待値の法則と全分散の公式で $E[Y]$ と $V[Y]$ を求めよ。また $Y$ の周辺密度を求めよ。3. 4.2-3 $N$ を $\mathrm{Po}(\lambda)$ に従う確率変数とする。$X_1,X_2,\dots$ は $N$ と独立で、互いに独立同分布とする。その平均を $\mu$、分散を $\sigma^2$ とする。次の確率変数を考える。

$$S=\sum_{i=1}^NX_i\qquad(N=0\text{ なら }S=0)$$

$E[S]=\lambda\mu$、$V[S]=\lambda(\sigma^2+\mu^2)$ を示せ。さらに $\lambda=3$、$X_i\sim\mathrm{Ex}(2)$ のときの値を求めよ。4. 4.2-4 $X\sim\mathrm{N}(0,1)$、$Y=X^2$ とする。$\mathrm{Cov}(X,Y)=0$ を確かめよ。次に、次の2つを数値で比べよ。

$$P(\lvert X\rvert \le1,\ Y\le1),\qquad P(\lvert X\rvert \le1)P(Y\le1)$$

これにより、$X$ と $Y$ が独立でないことを示せ。