多次元確率分布

数理統計　第4章 §4.4　★★★ 共分散行列・多項分布・多変量正規分布。線形変換と条件付き分布の公式は回帰（第9章）と標本分布論（第5章）で毎回使う

平均ベクトルと共分散行列

$\bm X=(X_1,\dots,X_k)^\top$ を $k$ 次元の確率ベクトルとする。成分ごとの期待値を並べた

$$\bm\mu=E[\bm X]=(E[X_1],\dots,E[X_k])^\top$$

を平均ベクトルと呼ぶ。また、$(i,j)$ 成分が $\mathrm{Cov}(X_i,X_j)$ の行列

$$\Sigma=\mathrm{Cov}(\bm X)=E\bigl[(\bm X-\bm\mu)(\bm X-\bm\mu)^\top\bigr]$$

を共分散行列（分散共分散行列）と呼ぶ。対角成分は分散 $V[X_i]$ で、$\Sigma$ は対称行列である。

証明

前半は成分ごとの線形性である。後半は、$(B\bm X+\bm c)-(B\bm\mu+\bm c)=B(\bm X-\bm\mu)$ から次のとおりである。

$$E[B(\bm X-\bm\mu)(\bm X-\bm\mu)^\top B^\top]=BE[(\bm X-\bm\mu)(\bm X-\bm\mu)^\top]B^\top=B\Sigma B^\top$$

$B=\bm a^\top$（$1\times k$）とおけば最後の主張になる。分散は非負である。

半正定値性から、たとえば次の行列は共分散行列になりえない。

$$\begin{pmatrix}4&3\\3&1\end{pmatrix}$$

行列式が $4-9<0$ で、固有値の一方が負だからである。2次元では、半正定値であることと $\lvert \rho\rvert \le1$（定理 4.5）は同じ条件である。

多項分布

1回の試行で、$k$ 個の結果のうち1つが起こるとする。各結果の確率は $p_1,\dots,p_k$（$\sum p_i=1$）である。これを独立に $n$ 回繰り返す。結果 $i$ が起こった回数を $X_i$ とする。$\bm X=(X_1,\dots,X_k)$ の同時確率関数は

$$P(X_1=x_1,\dots,X_k=x_k)=\frac{n!}{x_1!\cdots x_k!}\,p_1^{x_1}\cdots p_k^{x_k}\qquad\Bigl(x_i\ge0,\ \sum_ix_i=n\Bigr)\tag{4.17}$$

である。係数は並べ方の数である。つまり $n$ 回のうち、どの $x_1$ 回が結果1で、どの回が結果2で…という選び方の数である。

これを多項分布と呼び、$\bm X\sim\mathrm{Mult}(n;p_1,\dots,p_k)$ と書く。$k=2$ が二項分布である。

証明

指示変数 $I_{t,i}$ を、次で定める。

$$I_{t,i}=\begin{cases}1 & (t\text{ 回目の試行の結果が }i)\\ 0 & (\text{それ以外})\end{cases}$$すると $X_i=\sum_{t=1}^nI_{t,i}$ である。

(i) 各 $t$ で $P(I_{t,i}=1)=p_i$ である。試行は独立なので $X_i\sim\mathrm{Bin}(n,p_i)$ となる。

(ii) $i\neq j$ とする。共分散を、試行の組ごとに見る。

• 同じ試行では2つの結果は同時に起こらないので、$I_{t,i}I_{t,j}=0$ である。したがって $\mathrm{Cov}(I_{t,i},I_{t,j})=0-p_ip_j$ となる。
• 異なる試行 $t\neq s$ では独立なので、共分散は0である。

共分散の双線形性から、次を得る。

$$\mathrm{Cov}(X_i,X_j)=\sum_t\sum_s\mathrm{Cov}(I_{t,i},I_{s,j})=-np_ip_j$$

総数が $n$ に固定されているので、ある結果が多く出れば他は少なくなる。そのため共分散は負になる。共分散行列は

$$\Sigma=n\bigl(\mathrm{diag}(\bm p)-\bm p\bm p^\top\bigr)$$

と書ける。$\bm 1^\top\Sigma\bm 1=n(1-1)=0$ から、$\Sigma$ は正則でない。これは $\sum X_i=n$ が定数であることに対応する。

多変量正規分布

命題 4.12 から、平均は $\bm\mu$ である。共分散行列は $A I A^\top=AA^\top=\Sigma$ である。

$\Sigma$ は正定値対称行列である。逆に任意の正定値対称行列は、Cholesky 分解などで $AA^\top$ の形に書ける。よって、すべての正定値対称行列が共分散行列として現れる。

証明

$\bm Z$ の密度は、独立性から次のとおりである。

$$\prod_i(2\pi)^{-1/2}\mathrm{e}^{-z_i^2/2}=(2\pi)^{-k/2}\exp(-\bm z^\top\bm z/2)$$

線形変換 $\bm x=\bm\mu+A\bm z$ の逆写像とヤコビアンは、次のとおりである。

$$\bm z=A^{-1}(\bm x-\bm\mu),\qquad \det A^{-1}=\frac{1}{\det A}$$

さらに次の2つが成り立つ。

$$\begin{aligned}\lvert \Sigma\rvert &=\det(AA^\top)=(\det A)^2 &&\text{（よって }\lvert \det A\rvert =\lvert \Sigma\rvert ^{1/2}\text{）}\\ \bm z^\top\bm z&=(\bm x-\bm\mu)^\top(A^{-1})^\top A^{-1}(\bm x-\bm\mu)=(\bm x-\bm\mu)^\top(AA^\top)^{-1}(\bm x-\bm\mu)\end{aligned}$$

定理 4.11 の $k$ 次元版から、(4.18) を得る。

積率母関数を求める。$\bm s=A^\top\bm t$ とおくと $\bm t^\top\bm X=\bm t^\top\bm\mu+\bm s^\top\bm Z$ である。$Z_i$ の独立性と $E[\mathrm{e}^{sZ_i}]=\mathrm{e}^{s^2/2}$ から、次を得る。

$$\begin{aligned}M(\bm t)&=\mathrm{e}^{\bm t^\top\bm\mu}\prod_i\mathrm{e}^{s_i^2/2}=\exp(\bm t^\top\bm\mu+\bm s^\top\bm s/2)\\ \bm s^\top\bm s&=\bm t^\top AA^\top\bm t=\bm t^\top\Sigma\bm t\end{aligned}$$

2変量（$k=2$）の場合を書き下す。記号を次のようにとる。

$$\bm\mu=(\mu_1,\mu_2),\qquad V[X_i]=\sigma_i^2,\qquad \text{相関係数 }\rho\ (\lvert \rho\rvert <1)$$

このとき $\lvert \Sigma\rvert =\sigma_1^2\sigma_2^2(1-\rho^2)$ である。$z_i=(x_i-\mu_i)/\sigma_i$ とおいて逆行列を計算すると

$$f(x_1,x_2)=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp\Bigl\{-\frac{z_1^2-2\rho z_1z_2+z_2^2}{2(1-\rho^2)}\Bigr\}\tag{4.20}$$

となる。

証明

(1) $\bm Y=B\bm X+\bm c$ の積率母関数は、$\bm s\in\mathbb{R}^m$ について次のとおりである。

$$E[\mathrm{e}^{\bm s^\top\bm Y}]=\mathrm{e}^{\bm s^\top\bm c}M(B^\top\bm s)=\exp\Bigl\{\bm s^\top(B\bm\mu+\bm c)+\frac12\bm s^\top B\Sigma B^\top\bm s\Bigr\}$$

これは $\mathrm{N}_m(B\bm\mu+\bm c,B\Sigma B^\top)$ の積率母関数 (4.19) である。$B$ の階数が行の数に等しいので、$B\Sigma B^\top$ は正定値である。積率母関数が分布を決めることから主張が従う。成分の一部は、$B$ を単位行列の一部の行をとった行列にすればよい。

(2) $\Sigma_{12}=O$ とし、$\bm t=(\bm t_1,\bm t_2)$ と分ける。すると

$$\bm t^\top\Sigma\bm t=\bm t_1^\top\Sigma_{11}\bm t_1+\bm t_2^\top\Sigma_{22}\bm t_2$$

となり、(4.19) が $\bm t_1$ だけの関数と $\bm t_2$ だけの関数の積に分かれる。これは、独立な $\mathrm{N}(\bm\mu_1,\Sigma_{11})$ と $\mathrm{N}(\bm\mu_2,\Sigma_{22})$ を並べたベクトルの積率母関数と一致する。よって $\bm X_1$ と $\bm X_2$ は独立である。

(3) $\bm Z=A^{-1}(\bm X-\bm\mu)$ は、成分が独立な $\mathrm{N}(0,1)$ である。2次形式は $\bm Z^\top\bm Z=\sum_iZ_i^2$ に等しい。独立な標準正規の2乗の $k$ 個の和は $\chi^2_k$ に従う（第3章）。

(2) は、正規分布に限っては「共分散が0」だけから独立性まで言えることを述べている。第5章で $\bar X$ と $S^2$ の独立性を示すときと、第9章で回帰係数の推定量と残差の独立性を示すときに、この性質を使う。ただし前提は同時に多変量正規分布に従うことであり、各成分が正規分布に従うだけでは足りない。

反例を挙げる。$X\sim\mathrm{N}(0,1)$ に独立な符号を掛けて、$Y$ を作る。符号は $\pm1$ を等確率でとる。

2つはどちらも $\mathrm{N}(0,1)$ に従い、無相関である。しかし $\lvert Y\rvert =\lvert X\rvert$ なので独立でない。

多変量正規分布の条件付き分布

証明

$C=\Sigma_{12}\Sigma_{22}^{-1}$ とおき、$\bm W=\bm X_1-C\bm X_2$ を作る。組 $(\bm W,\bm X_2)$ は $\bm X$ の正則な線形変換である。よって定理 4.16 (1) から、同時に多変量正規分布に従う。その共分散は

$$\mathrm{Cov}(\bm W,\bm X_2)=\Sigma_{12}-C\Sigma_{22}=\Sigma_{12}-\Sigma_{12}=O$$

なので、(2) から $\bm W$ と $\bm X_2$ は独立である。$\bm W$ の平均は $\bm\mu_1-C\bm\mu_2$ である。共分散は

$$\Sigma_{11}-C\Sigma_{21}-\Sigma_{12}C^\top+C\Sigma_{22}C^\top=\Sigma_{11}-\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}$$

である。ここで次の等式を使った。

$$C\Sigma_{22}C^\top=\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}=C\Sigma_{21}=\Sigma_{12}C^\top$$

$\bm X_1=\bm W+C\bm X_2$ である。$\bm W$ は $\bm X_2$ と独立である。

よって $\bm X_2=\bm x_2$ を条件としても、$\bm W$ の分布は変わらない。よって条件付き分布は、$\bm W$ の分布を $C\bm x_2$ だけ平行移動したものである。これで (4.21) を得る。

2変量の場合に書き下す。$X_1=x_1$ が与えられたとき、$X_2$ の条件付き分布は

$$X_2\mid X_1=x_1\ \sim\ \mathrm{N}\Bigl(\mu_2+\rho\frac{\sigma_2}{\sigma_1}(x_1-\mu_1),\ \ \sigma_2^2(1-\rho^2)\Bigr)\tag{4.22}$$

である。条件付き期待値は $x_1$ の1次式で、その傾きは次のとおりである。

$$\rho\frac{\sigma_2}{\sigma_1}=\frac{\mathrm{Cov}(X_1,X_2)}{V[X_1]}$$

これは、第9章の単回帰で最小2乗法が推定する傾きの母集団版である。条件付き分散は $x_1$ によらず、$\lvert \rho\rvert$ が大きいほど小さい。図 4.3 は、等高線の楕円と回帰直線の位置関係を示している。

図の性質は、次の3段で確かめられる。

1. $z_1$ を固定する。このとき $Q$ は $z_2$ の2次関数になる。最小になるのは $z_2=\rho z_1$ のときである。
2. したがって、密度を縦線に沿って最大にする点は直線 $z_2=\rho z_1$ の上にある。この点が条件付き分布の平均である。
3. 楕円の縦の接線の接点は、その縦線の上で楕円が1点だけになる点である。よって同じ直線の上にある。

平均への回帰と呼ばれる現象も、ここから読める。$z_1$ が大きくても、条件付き期待値は $\rho z_1$ にとどまる。この現象は、$\lvert \rho\rvert <1$ であることだけから起こる。

確認テスト

オリジナル

1. 4.4-1 次の行列が、どんな確率ベクトルの共分散行列にもなりえない理由を示せ。

$$\begin{pmatrix}4&3\\3&1\end{pmatrix}$$

命題 4.12 を使い、具体的なベクトル $\bm a$ を1つ挙げて示すこと。2. 4.4-2 $\bm X\sim\mathrm{N}_3(\bm 0,\Sigma)$ とする。ただし

$$\Sigma=\begin{pmatrix}2&1&0\\1&2&1\\0&1&2\end{pmatrix}.$$

次の2つを求めよ。

1. $Y=X_1-X_2+X_3$ の分布

2. $X_2=1$ が与えられたときの $X_1$ の条件付き分布

3. 4.4-3 $X_1,\dots,X_n$ を $\mathrm{N}(\mu,\sigma^2)$ からの無作為標本とする。

   1. $\mathrm{Cov}(\bar X,\,X_i-\bar X)=0$ を示せ。
   2. 定理 4.16 を使って、次の2つが独立であることを示せ。

$$\bar X,\qquad (X_1-\bar X,\dots,X_n-\bar X)$$ 4. 4.4-4 $\bm X\sim\mathrm{N}_2(\bm\mu,\Sigma)$ とし、2次形式を次で定める。

$$Q=(\bm X-\bm\mu)^\top\Sigma^{-1}(\bm X-\bm\mu)$$

1. $z_i=(x_i-\mu_i)/\sigma_i$ とおく。$Q$ を $z_1,z_2,\rho$ で書け。
2. $P(Q\le c)=0.95$ となる $c$ を求めよ。$\chi^2_2$ が $\mathrm{Ex}(1/2)$（平均2の指数分布）と一致することを使うこと。
3. 4.4-5 多項分布で、$i\neq j$ とする。命題 4.13 から、相関係数 $\rho(X_i,X_j)$ を $p_i,p_j$ で表せ。また $p_i=0.5$、$p_j=0.3$ のときの値を求めよ。