2変数の確率分布

統計学の復習　第7章 §7.1　★★★ 同時分布から周辺分布は「もう片方について足す（積分する）」ことで出る。独立は同時分布が周辺分布の積になること。台が長方形でなければ独立にならない

この章は、対策本の第14章の後半（14-3 2変数の確率分布、14-4 2変数の期待値と分散）に当たる。

第4章では確率変数を1つずつ扱い、その分布を確率関数か密度で表して期待値と分散を計算した。ところが統計で実際に扱う量は、ほとんどが複数の確率変数の組合せである。標本平均 $\bar X=(X_1+\cdots+X_n)/n$ は $n$ 個の確率変数の和を $n$ で割ったものであり、回帰の傾きは $Y_1,\dots,Y_n$ の重み付き和であり、二項分布に従う成功の回数は $n$ 個の0か1の変数の和である（第5章）。これらの期待値と分散を計算するには、2つ以上の確率変数が「一緒にどう振る舞うか」を記述する言葉が要る。

この章では、まず2つの確率変数 $(X,Y)$ の組の分布（同時分布）を定義し、そこから片方だけの分布（周辺分布）と、片方の値が分かったときのもう片方の分布（条件付き分布）を取り出す（§7.1）。2つの変数が互いに影響しないこと（独立）を同時分布の言葉で定義し、独立かどうかを確かめる手順を示す。次に、2変数の関数の期待値を定義し、2つの変数の連動の度合いを共分散と相関係数で測る（§7.2）。中心になる結果は

$$V[aX+bY]=a^2V[X]+b^2V[Y]+2ab\,\mathrm{Cov}(X,Y)$$

と、これを $n$ 個の和に広げた式で、第8章の標本平均の分散、第9章の推定量の分散、第14章の回帰係数の分散は、すべてこの式に具体的な係数を入れたものになる。

1級との関係では、条件付き期待値の性質（繰り返し期待値の公式）、多次元の変数変換（ヤコビアン）、多変量正規分布は数理統計の解説 第4章で扱う。この章ではそれらを先取りせず、2級の範囲の道具（和と積分と期待値の線形性）で導き切れる所までを書く。

離散型の同時確率関数と周辺確率関数

同じ試行の結果から2つの確率変数 $X$ と $Y$ を定めるとき、両者の振る舞いを一度に記述するのが同時分布である。たとえばサイコロを1回振って、出た目が偶数なら $X=1$・奇数なら $X=0$ とし、出た目が3以上なら $Y=1$・2以下なら $Y=0$ とする。$X$ だけ、$Y$ だけの分布を知っていても、「$X=1$ かつ $Y=1$」（目が4か6）の確率は決まらない。2つの変数の組 $(X,Y)$ がどの値の組をどの確率でとるかを与えて、初めて両者の関係が分かる。

値の個数が少ないときは、行に $x$、列に $y$ をとった表で同時確率関数を書くのが見やすい。この表の各行の和、各列の和を表の右端と下端（余白、英語で margin）に書き込んだものが、次の周辺確率関数である。

証明

$Y$ のとりうる値を $y_1,y_2,\dots$ とすると、事象 $\{Y=y_1\},\{Y=y_2\},\dots$ は互いに排反で、和集合は全体の標本空間になる。したがって事象 $\{X=x\}$ は、互いに排反な事象 $\{X=x,\ Y=y_1\},\{X=x,\ Y=y_2\},\dots$ の和集合に分かれる。確率の加法性から $P(X=x)=\sum_jP(X=x,\ Y=y_j)=\sum_yp(x,y)$ である。これは第3章の全確率の公式と同じ考え方で、$\{Y=y\}$ による標本空間の分割を使っている。$p_Y$ も同様である。

同時分布から周辺分布は一意に決まるが、逆は成り立たない。周辺分布が同じでも、同時分布は変数どうしの関係に応じていくらでも変わりうる（例題 7.1 と確認テスト 7.1-1）。周辺分布は同時分布の情報の一部を足し合わせて捨てたものである。

連続型の同時密度関数と周辺密度関数

$X$ と $Y$ がともに連続的な値をとるとき、1変数のとき（第4章）と同じ理由で、1点 $(x,y)$ の確率は $0$ になる。そこで平面上の領域に確率を割り振る密度を考える。

1変数の密度 $f(x)$ が「単位長さあたりの確率」であったのに対して、同時密度 $f(x,y)$ は「単位面積あたりの確率」である。点 $(x,y)$ を含む縦 $h$・横 $h$ の小さな正方形に入る確率がおよそ $f(x,y)h^2$ で、$f(x,y)$ そのものは確率ではなく、$1$ を超えてもよい。$f(x,y)$ のグラフを平面の上の曲面と見ると、領域 $A$ の確率は、$A$ の上で曲面の下にある部分の体積である。

証明

$X$ の累積分布関数は、領域 $\{(u,y):u\le x\}$（直線 $u=x$ より左の半平面）の確率なので

$$F_X(x)=P(X\le x)=\int_{-\infty}^{x}\Bigl(\int_{-\infty}^{\infty}f(u,y)\,\mathrm{d} y\Bigr)\mathrm{d} u$$

となる。括弧の中を $g(u)$ と書くと $F_X(x)=\int_{-\infty}^xg(u)\,\mathrm{d} u$ で、第4章の $F'=f$（$g$ が連続な点で）から $f_X(x)=F_X'(x)=g(x)$ である。$f_Y$ も同様である。

離散型で「もう片方の変数について足す」所が、連続型では「もう片方の変数について積分する」に変わる。式は単純だが、実際の計算で間違えやすいのは積分の範囲である。

同時累積分布関数

離散型と連続型をまとめて扱うには、1変数のときと同様に累積分布関数を使う。

$$F(x,y)=P(X\le x,\ Y\le y)\tag{7.5}$$

を $(X,Y)$ の同時累積分布関数と呼ぶ。これは点 $(x,y)$ より左下の4分の1平面の確率である。長方形の確率は $F$ の4つの値から

$$P(a<X\le b,\ c<Y\le d)=F(b,d)-F(a,d)-F(b,c)+F(a,c)\tag{7.6}$$

と書くことができる。$F(b,d)$ は $(b,d)$ の左下全体の確率で、そこから $X\le a$ の帯（$F(a,d)$）と $Y\le c$ の帯（$F(b,c)$）を除くと、両方の帯に含まれる左下の部分（$F(a,c)$）を2回引いたことになるので、1回足し戻す。これは第3章の包除原理 $P(A\cup B)=P(A)+P(B)-P(A\cap B)$ を使った計算である（確認テスト 7.1-3）。連続型では、$F(x,y)=\int_{-\infty}^x\int_{-\infty}^yf(u,v)\,\mathrm{d} v\,\mathrm{d} u$ を $x$ と $y$ で1回ずつ偏微分すると $\partial^2F/\partial x\,\partial y=f(x,y)$ となり、1変数の $F'=f$ の2変数版になる。

確率変数の独立

第3章で、2つの事象 $A,B$ が独立であることを $P(A\cap B)=P(A)P(B)$ で定義した。確率変数の独立は、これを「$X$ だけで決まる事象」と「$Y$ だけで決まる事象」のすべての組に要求したものである。

この定義はすべての区間の組を要求するので、そのままでは確かめにくい。実際には次の同値な条件を使う。

証明

(i) 独立なら、式 (7.7) で $A$ と $B$ を1点 $\{x\}$、$\{y\}$ だけを含む区間にとれば $p(x,y)=p_X(x)p_Y(y)$ である。逆に $p(x,y)=p_X(x)p_Y(y)$ がすべての点で成り立てば、

$$P(X\in A,\ Y\in B)=\sum_{x\in A}\sum_{y\in B}p_X(x)p_Y(y)=\Bigl(\sum_{x\in A}p_X(x)\Bigr)\Bigl(\sum_{y\in B}p_Y(y)\Bigr)=P(X\in A)P(Y\in B)$$

となる。二重和が積に分かれるのは、各項が $x$ だけの因子と $y$ だけの因子の積だからである。

(ii) 逆向き（積の形なら独立）は、(i) の和を積分に置き換えた同じ計算である。独立なら $A=(-\infty,x]$、$B=(-\infty,y]$ として $F(x,y)=F_X(x)F_Y(y)$ が成り立ち、両辺を $x$ と $y$ で偏微分すると $f(x,y)=f_X(x)f_Y(y)$ となる。

(iii) $f(x,y)=g(x)h(y)$ とし、$G=\int g(x)\,\mathrm{d} x$、$H=\int h(y)\,\mathrm{d} y$ とおく。全体の積分が $1$ なので $GH=1$ である。周辺密度は $f_X(x)=\int g(x)h(y)\,\mathrm{d} y=Hg(x)$、$f_Y(y)=Gh(y)$ で、$f_X(x)f_Y(y)=GH\,g(x)h(y)=f(x,y)$ となり、(ii) から独立である。

(iii) の括弧の条件は見落としやすい。たとえば三角形 $\{0<x<y<1\}$ の上で $f(x,y)=2$（外では $0$）という密度は、式だけを見ると定数で「$x$ だけの関数と $y$ だけの関数の積」に見える。しかし台の外で $0$ になることまで含めて書くと $f(x,y)=2\cdot\mathbf 1\{0<x<y<1\}$ で、指示関数 $\mathbf 1\{x<y\}$ が $x$ と $y$ の両方を含むので、$x$ だけの因子と $y$ だけの因子の積に分かれない。実際、$X$ が $1/2$ より大きいと分かれば $Y>X>1/2$ が確定するので、$X$ の値が $Y$ の分布を変えており、独立ではない（確認テスト 7.1-4）。

3つ以上の確率変数 $X_1,\dots,X_n$ の独立も同様に、すべての区間 $A_1,\dots,A_n$ に対して $P(X_1\in A_1,\dots,X_n\in A_n)=\prod_iP(X_i\in A_i)$ が成り立つことで定義する。同時確率関数や同時密度が各変数の周辺の積に分かれることと同値である。「同じ母集団から無作為に抽出した標本 $X_1,\dots,X_n$」は、この意味で独立で、同じ分布に従う確率変数の組として扱う（第8章）。

条件付き分布

$X$ の値が $x$ と分かったときの $Y$ の分布を、第3章の条件付き確率で定義する。

$x$ を固定すると、$p(y\mid x)$ は同時確率の表の $x$ の行を取り出し、その行の和 $p_X(x)$ で割って合計を $1$ にしたものである。したがって $\sum_yp(y\mid x)=1$ で、これは $y$ の確率関数になっている。連続型の $f(y\mid x)$ も同様で、同時密度の曲面を $x$ の位置で縦に切った断面の形を、断面の面積 $f_X(x)$ で割って全体を $1$ にしたものである。連続型では $P(X=x)=0$ なので、第3章の条件付き確率の定義をそのまま使うことはできない。$x$ を幅 $h$ の区間に広げた条件付き確率で $h\to0$ とした極限として正当化するが、その議論は数理統計の解説 第4章 §4.2 に送る。

定理 7.6 と並べると、$X$ と $Y$ が独立であることは、$p(y\mid x)=p_Y(y)$ がすべての $x$（$p_X(x)>0$）で成り立つこと、すなわち「$X$ の値を知っても $Y$ の分布が変わらない」ことと同値である。独立でない2変数では、$x$ によって条件付き分布の形が変わる。

条件付き分布の平均 $E[Y\mid X=x]=\sum_yy\,p(y\mid x)$（連続型なら $\int y\,f(y\mid x)\,\mathrm{d} y$）を条件付き期待値と呼ぶ。$x$ を動かしたときの $E[Y\mid X=x]$ のグラフは、「$X=x$ のときの $Y$ の平均的な値」を結んだ曲線で、第14章の回帰直線はこれを直線で近似したものと見ることができる。条件付き期待値の性質（$E[E[Y\mid X]]=E[Y]$ など）は数理統計の解説 第4章 §4.2 で扱う。

確認テスト

オリジナル

1. 7.1-1 $X\in\{0,1\}$、$Y\in\{0,1,2\}$ の同時確率関数が $p(x,y)=c\,(x+y+1)$ で与えられている。$c$ の値と周辺確率関数 $p_X$、$p_Y$ を求め、$X$ と $Y$ が独立かどうかを判定せよ。
2. 7.1-2 $(X,Y)$ の同時密度が $x>0$、$y>0$ で $f(x,y)=c\,\mathrm{e}^{-2x-3y}$（それ以外で $0$）のとき、$c$ を求め、$X$ と $Y$ が独立であることを示せ。また $P(X<Y)$ を積分で求めよ。
3. 7.1-3 式 (7.6) を、事象 $\{X\le b,\ Y\le d\}$ を互いに排反な4つの事象に分けることで示せ。7.1-2 の分布で $P(0.5<X\le1,\ 0.5<Y\le1)$ を求めよ。
4. 7.1-4 三角形 $\{0<x<y<1\}$ の上で $f(x,y)=2$（それ以外で $0$）のとき、周辺密度を求め、$P(X>1/2,\ Y<1/2)$ と $P(X>1/2)\,P(Y<1/2)$ を比べて $X$ と $Y$ が独立でないことを示せ。
5. 7.1-5 7.1-1 の分布で、$X=0$ と $X=1$ のそれぞれが与えられたときの $Y$ の条件付き確率関数と条件付き期待値を求めよ。条件付き分布が $x$ によって変わることと、7.1-1 の判定との関係を述べよ。