同時確率分布と周辺分布

数理統計　第4章 §4.1　★★ 同時密度から正規化定数・周辺密度・領域の確率・共分散を求める計算。どの大問でも最初の小問になる

第2章と第3章では、確率変数を1つずつ扱った。統計の問題では、標本 $X_1,\dots,X_n$ がいつも複数あり、そこから作る統計量（和・比・最大値など）の分布を求める必要がある。そのためには、複数の確率変数の分布をまとめて書き、そこから一部の変数だけの分布を取り出し、ある変数の値を知ったときの残りの分布を求め、変数を別の変数へ取り替えたときの密度を計算する、という4つの操作を手で最後まで実行できなければならない。本章はこの4つを順に作る。

§4.1 では同時分布と周辺分布、および共分散と相関係数を定義する。§4.2 では条件付き分布と条件付き期待値を定義し、全期待値の法則・全分散の公式と独立性の判定法を証明する。§4.3 ではヤコビアンを使った変数変換の公式を証明し、たたみ込み・比の分布・ガンマとベータの関係を導く。§4.4 では平均ベクトルと共分散行列を導入し、多項分布と多変量正規分布の性質（線形変換・周辺分布・条件付き分布）を証明する。

1級の統計数理では、本章の手続きが大問の前半の小問として繰り返し現れる。2025年 統計数理 問5 の題材（ポアソン分布の再生性をたたみ込みで導く）は §4.3 のたたみ込みそのものであり、問3 の題材（単回帰での標本相関係数の密度）は、独立な2つの統計量から比を作ってヤコビアンで密度を求める §4.3 の手続きで書く。第5章の $t$ 分布・$F$ 分布の導出と、第9章の回帰の議論で使う多変量正規の条件付き分布も、本章で準備する。

同時分布関数・同時確率関数・同時密度関数

同じ試行の上で定義された2つの確率変数 $X,Y$ の組 $(X,Y)$ を2次元確率変数（確率ベクトル）と呼ぶ。その分布を表す最も一般的な量は次の同時分布関数である。

長方形 $(a,b]\times(c,d]$ に入る確率は、次の2段で求める。

1. 事象 $\{X\le b,Y\le d\}$ から、次の2つの事象を除く。

$$\{X\le a,Y\le d\},\qquad \{X\le b,Y\le c\}$$ 2. 2回除かれた事象 $\{X\le a,Y\le c\}$ を1回戻す。

こうして

$$P(a<X\le b,\ c<Y\le d)=F(b,d)-F(a,d)-F(b,c)+F(a,c)\tag{4.1}$$

と書ける。右辺は確率なので非負であり、これは $F$ が満たすべき条件の1つになる。

$X,Y$ がともに離散型で、取りうる値が可算個の組 $(x_i,y_j)$ に限られるとする。このとき

$$p(x_i,y_j)=P(X=x_i,\,Y=y_j)$$

を同時確率関数と呼ぶ。連続型の場合は次のように定義する。

$A=(-\infty,x]\times(-\infty,y]$ とおくと

$$F(x,y)=\int_{-\infty}^x\int_{-\infty}^y f(s,t)\,\mathrm{d} t\,\mathrm{d} s$$

である。$f$ が連続な点では、微分積分学の基本定理を2回使って

$$f(x,y)=\frac{\partial^2F(x,y)}{\partial x\,\partial y}$$

を得る。

$X_1,\dots,X_n$ の $n$ 個についても、同じように次の2式で定義する。

$$F(x_1,\dots,x_n)=P(X_1\le x_1,\dots,X_n\le x_n),\qquad P(\bm X\in A)=\int_A f(x_1,\dots,x_n)\,\mathrm{d} x_1\cdots\mathrm{d} x_n$$

以下では記号を軽くするために2次元で書くが、証明はどれも $n$ 次元でそのまま成り立つ。

周辺分布

$(X,Y)$ の分布が分かっているとき、$X$ だけの分布を周辺分布と呼ぶ。

証明

$\{X\le x\}=\{X\le x,\ Y\in\mathbb{R}\}$ である。そこで (4.2) で $A=(-\infty,x]\times\mathbb{R}$ とおき、積分の順序を入れ替えると

$$P(X\le x)=\int_{-\infty}^x\Bigl\{\int_{-\infty}^\infty f(s,y)\,\mathrm{d} y\Bigr\}\mathrm{d} s$$

となる。$X$ の分布関数が中括弧の関数の積分で書けたので、中括弧が $X$ の密度である。

周辺化の計算で答案を誤る最大の原因は、密度が $0$ でない範囲（台）の扱いである。台が三角形のように長方形でない形をしているとき、$y$ で積分する範囲は $x$ に依存する。答案では、まず台を $xy$ 平面に描く。次に $x$ を固定した縦線が台を横切る区間を読み取り、それから積分を書く。

同時分布での期待値・共分散・相関係数

関数 $g(X,Y)$ の期待値は、$g(X,Y)$ 自身の分布を求めなくても

$$E[g(X,Y)]=\iint g(x,y)f(x,y)\,\mathrm{d} x\,\mathrm{d} y\tag{4.4}$$

で計算できる（離散型は和）。これは第2章の1変数の場合と同じ主張の2次元版で、証明も同じである。$g(x,y)=ax+by$ とおけば、(4.3) から $E[aX+bY]=aE[X]+bE[Y]$ が従う。期待値の線形性は、$X$ と $Y$ が独立でなくても成り立つ。

積を展開して線形性を使うと、計算に向く形

$$\mathrm{Cov}(X,Y)=E[XY]-E[X]E[Y]\tag{4.5}$$

を得る。同じく展開すると、定数 $a,b,c,d$ について $\mathrm{Cov}(aX+b,\,cY+d)=ac\,\mathrm{Cov}(X,Y)$、

$$V[aX+bY]=a^2V[X]+2ab\,\mathrm{Cov}(X,Y)+b^2V[Y]\tag{4.6}$$

が成り立つ。$n$ 個の和については $V\bigl[\sum_iX_i\bigr]=\sum_iV[X_i]+2\sum_{i<j}\mathrm{Cov}(X_i,X_j)$ である。

証明

$X$ と $Y$ を標準化した

$$\tilde X=\frac{X-\mu_X}{\sqrt{V[X]}},\qquad \tilde Y=\frac{Y-\mu_Y}{\sqrt{V[Y]}}$$

は、どちらも平均0・分散1で、$E[\tilde X\tilde Y]=\rho$ である。任意の実数 $t$ について (4.6) から

$$0\le V[t\tilde X+\tilde Y]=t^2+2\rho t+1$$

となる。右辺は $t$ の2次式で常に非負なので、判別式は $4\rho^2-4\le0$ である。すなわち $\lvert \rho\rvert \le1$ を得る。

$\lvert \rho\rvert =1$ のときは $t=-\rho$ とおく。

$$V[-\rho\tilde X+\tilde Y]=\rho^2-2\rho^2+1=1-\rho^2=0$$

分散が0の確率変数は確率1で平均に等しいので、$\tilde Y=\rho\tilde X$ が確率1で成り立つ。これを $X,Y$ に戻すと

$$Y=\mu_Y+\rho\sqrt{V[Y]/V[X]}\,(X-\mu_X)$$

という1次式になる。

逆に $Y=aX+b$ なら、次のとおり $\rho=\pm1$ である。

$$\mathrm{Cov}(X,Y)=aV[X],\qquad V[Y]=a^2V[X],\qquad \rho=\frac{a}{\lvert a\rvert }=\pm1$$

相関係数が測るのは1次式の関係の強さだけである。$Y$ が $X$ の関数として完全に決まっていても、関係が1次でなければ相関係数の絶対値は1未満になる。次節の例のように、$\rho=0$ になることもある。

確認テスト

オリジナル

1. 4.1-1 定数 $a,b,c,d$ について、次を示せ。

$$\mathrm{Cov}(aX+b,\,cY+d)=ac\,\mathrm{Cov}(X,Y)$$

また、$ac>0$ のとき $\rho(aX+b,cY+d)=\rho(X,Y)$ となることを確かめよ。2. 4.1-2 $(X,Y)$ の同時密度を次で定める。

$$f(x,y)=\begin{cases}cxy & (0<y<x<1)\\ 0 & (\text{それ以外})\end{cases}$$

次の5つを求めよ。

$$c,\quad f_X,\quad f_Y,\quad \mathrm{Cov}(X,Y),\quad \rho$$ 3. 4.1-3 $(X,Y)$ の同時密度を次で定める。

$$f(x,y)=\begin{cases}\mathrm{e}^{-y} & (0<x<y)\\ 0 & (\text{それ以外})\end{cases}$$

次の4つを求めよ。

$$f_X,\quad f_Y,\quad P(Y<2X),\quad \rho(X,Y)$$ 4. 4.1-4 $N$ 個の玉があり、そのうち $M$ 個が赤玉である。ここから $n$ 個を戻さずに取り出す。$X_i$ は、$i$ 回目が赤なら1、白なら0とする。$p=M/N$ とおく。

1. $i\neq j$ のとき、次を示せ。

$$\mathrm{Cov}(X_i,X_j)=-\frac{p(1-p)}{N-1}$$ 2. 赤の個数 $S_n=\sum_{i=1}^nX_i$ について、次を導け。

$$V[S_n]=np(1-p)\frac{N-n}{N-1}$$