連続分布

確率論入門　第6章 §6.2　★★★ 一様・指数・正規・ガンマ・ベータ・Cauchy と多変量正規。正規分布とガンマ分布は以後の章で最も多く使う

この節の分布はすべて密度を持つ。密度が分布を定めるには、$f\ge0$ と $\int_{\mathbb{R}}f(x)\,\mathrm{d} x=1$ の2つが成り立てばよい（第3章 §3.4）。各分布について、この正規化をまず確かめ、そのあとで平均と分散を (6.2) から計算する。

一様分布と指数分布

一様分布は、区間の中のどの部分区間にも長さに比例した確率を与える分布で、第3章 §3.5 の逆変換法の出発点になっていた。平均と分散は $E[X]=\frac{a+b}{2},\ V[X]=\frac{(b-a)^2}{12}$ である（確認テスト 6.2-1）。

指数分布の分布関数は、0 以上で $F(x)=1-\mathrm{e}^{-\lambda x}$ である。裾の確率は $P(X>x)=\mathrm{e}^{-\lambda x}$ である。部分積分により、$k=0,1,2,\dots$ について

$$\int_0^\infty x^k\lambda\mathrm{e}^{-\lambda x}\,\mathrm{d} x=\Bigl[-x^k\mathrm{e}^{-\lambda x}\Bigr]_0^\infty+\int_0^\infty kx^{k-1}\mathrm{e}^{-\lambda x}\,\mathrm{d} x=\frac k\lambda\int_0^\infty x^{k-1}\lambda\mathrm{e}^{-\lambda x}\,\mathrm{d} x$$

が成り立つ（境界項は $k\ge1$ で両端とも 0）。$k=0$ の値 1 から順に、$E[X^k]=k!/\lambda^k$ を得る。よって

$$E[X]=\frac1\lambda,\qquad V[X]=\frac2{\lambda^2}-\frac1{\lambda^2}=\frac1{\lambda^2}.\tag{6.13}$$

$\lambda$ は単位時間あたりに事象が起きる割合（レート）と読め、平均の待ち時間がその逆数になる。

指数分布は、幾何分布の無記憶性 (6.9) の連続版を持つ。$s,t\ge0$ について

$$P(X>s+t\mid X>s)=\frac{\mathrm{e}^{-\lambda(s+t)}}{\mathrm{e}^{-\lambda s}}=\mathrm{e}^{-\lambda t}=P(X>t)$$

である。電球の寿命を指数分布でモデル化すると、すでに $s$ 時間点灯した電球の残りの寿命は新品と同じ分布を持つ。この性質があるので、劣化の無い故障や放射性崩壊の待ち時間のモデルには指数分布を使う。

逆に、無記憶性を持つ連続分布は指数分布に限られる。

証明

$G(t)=P(X>t)$ と置く。$G$ は単調非増加で、分布関数の右連続性から右連続であり、$G(0)=1$ である。(6.14) を繰り返し使うと、自然数 $m,n$ について次が成り立つ。

$$G(m/n)=G(1/n)^m,\qquad\text{とくに}\quad G(1)=G(1/n)^n$$

まず $0<G(1)<1$ を示す。

• $G(1)=0$ なら、すべての番号で $G(1/n)=G(1)^{1/n}=0$ となる。右連続性から $G(0)=\lim_nG(1/n)=0$ となり、$G(0)=1$ に反する。
• $G(1)=1$ なら、すべての番号で $G(1/n)=1$ である。よって正の有理数 $q=m/n$ で $G(q)=1$ となる。単調性から、すべての $t\ge0$ で $G(t)=1$ となり、仮定に反する。

そこで $\lambda=-\log G(1)>0$ と置く。すると $G(1/n)=G(1)^{1/n}=\mathrm{e}^{-\lambda/n}$ である。正の有理数 $q=m/n$ について、$G(q)=\mathrm{e}^{-\lambda q}$ が成り立つ。

実数 $t>0$ には、上から近づく有理数の列 $q_k\downarrow t$ をとる。右連続性から $G(t)=\lim_kG(q_k)=\mathrm{e}^{-\lambda t}$ となる。

よって $X$ の分布関数は $1-\mathrm{e}^{-\lambda t}$ である。分布関数は分布を決めるので（第3章 §3.3）、$X\sim\mathrm{Ex}(\lambda)$ である。

正規分布

正規化の確認には Gauss 積分 $I=\int_{\mathbb{R}}\mathrm{e}^{-x^2/2}\,\mathrm{d} x=\sqrt{2\pi}$ を使う。$I^2$ を平面上の積分 $\iint_{\mathbb{R}^2}\mathrm{e}^{-(x^2+y^2)/2}\,\mathrm{d} x\,\mathrm{d} y$ と書く。極座標 $x=r\cos\theta,\ y=r\sin\theta$ に移ると、面積要素は $r\,\mathrm{d} r\,\mathrm{d}\theta$ になり

$$I^2=\int_0^{2\pi}\!\!\int_0^\infty\mathrm{e}^{-r^2/2}r\,\mathrm{d} r\,\mathrm{d}\theta=2\pi\Bigl[-\mathrm{e}^{-r^2/2}\Bigr]_0^\infty=2\pi$$

となる。$I>0$ なので $I=\sqrt{2\pi}$ である。一般の場合は、置換 $x=\mu+\sigma z$ で $\phi$ の積分に帰着する。

証明

$Z\sim\mathrm N(0,1)$ とする。$z\phi(z)$ は奇関数で $\int|z|\phi(z)\,\mathrm{d} z<\infty$ なので、平均は 0 である。$\phi'(z)=-z\phi(z)$ を使って部分積分すると

$$E[Z^2]=\int_{\mathbb{R}}z\cdot z\phi(z)\,\mathrm{d} z=\Bigl[-z\phi(z)\Bigr]_{-\infty}^{\infty}+\int_{\mathbb{R}}\phi(z)\,\mathrm{d} z=1$$

なので $V[Z]=1$ である。

次に $Y=aX+b$ の分布を求める。$a>0$ なら

$$P(Y\le y)=P\Bigl(X\le\frac{y-b}a\Bigr)=\int_{-\infty}^{(y-b)/a}\frac{1}{\sqrt{2\pi}\sigma}\mathrm{e}^{-(x-\mu)^2/(2\sigma^2)}\,\mathrm{d} x$$

である。$x=(u-b)/a$ と置換すると、

$$\mathrm{d} x=\frac{\mathrm{d} u}a,\qquad(x-\mu)^2=\frac{(u-a\mu-b)^2}{a^2}$$

より

$$P(Y\le y)=\int_{-\infty}^{y}\frac{1}{\sqrt{2\pi}\,a\sigma}\exp\Bigl(-\frac{(u-a\mu-b)^2}{2a^2\sigma^2}\Bigr)\mathrm{d} u$$

となる。被積分関数は $\mathrm N(a\mu+b,a^2\sigma^2)$ の密度である。

$a<0$ のときは不等号の向きが変わって、$P(Y\le y)=P(X\ge(y-b)/a)$ となる。同じ置換で積分の向きが逆転して絶対値 $|a|$ が現れ、同じ結論を得る。この結果を $a=1/\sigma,\ b=-\mu/\sigma$ に使えば、$Z\sim\mathrm N(0,1)$ である。$X=\mu+\sigma Z$ から、$E[X]=\mu,\ V[X]=\sigma^2V[Z]=\sigma^2$ である。

標準化により、どの正規分布の確率も $\Phi$ の値で書ける。

$$P(a<X\le b)=\Phi\Bigl(\frac{b-\mu}{\sigma}\Bigr)-\Phi\Bigl(\frac{a-\mu}{\sigma}\Bigr)$$

$\phi$ が偶関数なので、$\Phi(-x)=1-\Phi(x)$ である。$\Phi$ は初等関数で書けないので、値は数表か数値計算で求める。よく使う値は

$$\Phi(1)\approx0.8413,\qquad\Phi(1.96)\approx0.9750,\qquad\Phi(2.576)\approx0.9950$$

である。区間 $\mu\pm\sigma$ に入る確率は約 68.3% で、$\mu\pm1.96\sigma$ に入る確率は約 95% である。

正規分布の裾は指数関数よりはるかに速く減る。その速さを評価する不等式を示しておく。第4章 §4.4 の Borel–Cantelli の補題と組み合わせると、正規分布の列の最大値の増え方を調べることができる。

証明

右側は、積分範囲 $t\ge x$ で $t/x\ge1$ となることから出る。

$$1-\Phi(x)=\int_x^\infty\phi(t)\,\mathrm{d} t\le\int_x^\infty\frac tx\phi(t)\,\mathrm{d} t=\frac1x\Bigl[-\phi(t)\Bigr]_x^\infty=\frac{\phi(x)}{x}.$$

左側は、関数 $h(t)=\bigl(\frac1t-\frac1{t^3}\bigr)\phi(t)$ を微分して示す。$\phi'(t)=-t\phi(t)$ から

$$h'(t)=\Bigl(-\frac1{t^2}+\frac3{t^4}\Bigr)\phi(t)-\Bigl(1-\frac1{t^2}\Bigr)\phi(t)=-\Bigl(1-\frac3{t^4}\Bigr)\phi(t)$$

であり、$-h'(t)\le\phi(t)$ が成り立つ。$t\to\infty$ で $h(t)\to0$ なので、

$$h(x)=\int_x^\infty(-h'(t))\,\mathrm{d} t\le\int_x^\infty\phi(t)\,\mathrm{d} t$$

を得る。

(6.16) の両側の比は $x\to\infty$ で 1 に近づくので、$1-\Phi(x)\sim\phi(x)/x$ である。たとえば $x=4$ では、上界は $\phi(4)/4\approx3.35\times10^{-5}$ である。これに対して真の値は約 $3.17\times10^{-5}$ である。

ガンマ分布とベータ分布

指数分布を一般化した分布族を作るため、まずガンマ関数を用意する。$\alpha>0$ について

$$\Gamma(\alpha)=\int_0^\infty x^{\alpha-1}\mathrm{e}^{-x}\,\mathrm{d} x\tag{6.17}$$

と置く。積分が収束することは、両端で次のように確かめられる。

• 0 の近くでは、被積分関数は $x^{\alpha-1}$ 程度なので、$\alpha>0$ なら収束する。
• $x\to\infty$ では、$\mathrm{e}^{-x}$ のおかげで収束する。

部分積分から $\Gamma(\alpha+1)=\alpha\Gamma(\alpha)$ である。$\Gamma(1)=1$ と合わせると、自然数について $\Gamma(n)=(n-1)!$ である。また $x=t^2/2$ と置換すると $\mathrm{d} x=t\,\mathrm{d} t,\ x^{-1/2}=\sqrt2/t$ なので

$$\Gamma\Bigl(\frac12\Bigr)=\int_0^\infty\frac{\sqrt2}{t}\mathrm{e}^{-t^2/2}t\,\mathrm{d} t=\sqrt2\int_0^\infty\mathrm{e}^{-t^2/2}\,\mathrm{d} t=\sqrt2\cdot\frac{\sqrt{2\pi}}2=\sqrt\pi$$

となる。

置換 $y=\lambda x$ で $\int_0^\infty\lambda^\alpha x^{\alpha-1}\mathrm{e}^{-\lambda x}\,\mathrm{d} x=\Gamma(\alpha)$ となるので、正規化は成り立つ。$\alpha=1$ のとき $\mathrm{Ga}(1,\lambda)=\mathrm{Ex}(\lambda)$ である。同じ置換から、$k>-\alpha$ について

$$E[X^k]=\frac{\lambda^\alpha}{\Gamma(\alpha)}\int_0^\infty x^{\alpha+k-1}\mathrm{e}^{-\lambda x}\,\mathrm{d} x=\frac{\Gamma(\alpha+k)}{\Gamma(\alpha)\lambda^k}\tag{6.19}$$

であり、$k=1,2$ と $\Gamma(\alpha+2)=(\alpha+1)\alpha\Gamma(\alpha)$ から

$$E[X]=\frac\alpha\lambda,\qquad V[X]=\frac{\alpha(\alpha+1)}{\lambda^2}-\frac{\alpha^2}{\lambda^2}=\frac{\alpha}{\lambda^2}\tag{6.20}$$

を得る。

§6.3 では、独立な $n$ 個の同じレートの指数分布の和が、$\mathrm{Ga}(n,\lambda)$ に従うことを示す。平均 $n/\lambda$ と分散 $n/\lambda^2$ が、指数分布の値の個数倍になっていることは、それと合っている。

また $\alpha=n/2,\ \lambda=1/2$ のガンマ分布を、自由度 $n$ のカイ二乗分布と呼ぶ。これを $\chi^2_n$ と書く。これも §6.3 で正規分布の2乗の和として現れる。

次に、$(0,1)$ に値をとる分布の族を作る。$a,b>0$ についてベータ関数を

$$\mathrm B(a,b)=\int_0^1t^{a-1}(1-t)^{b-1}\,\mathrm{d} t\tag{6.21}$$

と置く。端点の近くで被積分関数は $t^{a-1}$、$(1-t)^{b-1}$ 程度である。よって $a,b>0$ で収束する。

証明

非負の関数の重積分なので順序を自由に交換してよい。

$$\Gamma(a)\Gamma(b)=\int_0^\infty\!\!\int_0^\infty x^{a-1}y^{b-1}\mathrm{e}^{-(x+y)}\,\mathrm{d} y\,\mathrm{d} x$$

の内側の積分で $x$ を固定して、$y=s-x$ と置換する。新しい変数は $x$ から $\infty$ まで動き、

$$\Gamma(a)\Gamma(b)=\int_0^\infty\!\!\int_x^\infty x^{a-1}(s-x)^{b-1}\mathrm{e}^{-s}\,\mathrm{d} s\,\mathrm{d} x=\int_0^\infty\mathrm{e}^{-s}\Bigl(\int_0^sx^{a-1}(s-x)^{b-1}\,\mathrm{d} x\Bigr)\mathrm{d} s$$

となる（2つ目の等号で、領域 $\{0<x<s\}$ の上の積分の順序を交換した）。内側で $x=st$ と置換すると $\mathrm{d} x=s\,\mathrm{d} t$ で

$$\int_0^sx^{a-1}(s-x)^{b-1}\,\mathrm{d} x=s^{a+b-1}\int_0^1t^{a-1}(1-t)^{b-1}\,\mathrm{d} t=s^{a+b-1}\mathrm B(a,b)$$

なので、次を得る。

$$\Gamma(a)\Gamma(b)=\mathrm B(a,b)\int_0^\infty s^{a+b-1}\mathrm{e}^{-s}\,\mathrm{d} s=\mathrm B(a,b)\Gamma(a+b)$$

正規化は $\mathrm B(a,b)$ の定義そのものである。モーメントは $E[X^k]=\mathrm B(a+k,b)/\mathrm B(a,b)$ で与えられる。これに (6.22) と $\Gamma(\alpha+1)=\alpha\Gamma(\alpha)$ を使うと

$$E[X]=\frac{\Gamma(a+1)\Gamma(a+b)}{\Gamma(a)\Gamma(a+b+1)}=\frac{a}{a+b},\qquad E[X^2]=\frac{a(a+1)}{(a+b)(a+b+1)}$$

で、

$$V[X]=\frac{a(a+1)}{(a+b)(a+b+1)}-\frac{a^2}{(a+b)^2}=\frac{ab}{(a+b)^2(a+b+1)}\tag{6.24}$$

となる。ベータ分布は、割合や確率そのものの不確かさを表す分布として統計で使われる。次の例題は、一様乱数を並べ替えたときに自然に現れることを示す。

Cauchy 分布

分布関数は $F(x)=\frac12+\frac1\pi\arctan\frac{x-m}{\gamma}$ である。$x\to\pm\infty$ で逆正接が $\pm\pi/2$ に近づくので、正規化は成り立つ。第3章の逆変換法から、$U\sim\mathrm U(0,1)$ なら $m+\gamma\tan\bigl(\pi(U-\tfrac12)\bigr)\sim\mathrm{Cauchy}(m,\gamma)$ である。幾何的には、点 $(m,\gamma)$ から一様にばらついた角度で引いた直線が、横軸と交わる点の分布である。

Cauchy 分布の密度は $m$ について対称で、$m$ が中央値になる。ところが期待値は存在しない。標準 Cauchy 分布について

$$E[|X|]=\int_{\mathbb{R}}\frac{|x|}{\pi(1+x^2)}\,\mathrm{d} x=\frac2\pi\int_0^\infty\frac{x}{1+x^2}\,\mathrm{d} x=\frac1\pi\lim_{R\to\infty}\log(1+R^2)=\infty$$

である。$E[X^\pm]$ がともに無限大なので、第5章の定義では $E[X]$ が定まらない。

$\int_{-R}^Rx f(x)\,\mathrm{d} x=0$ が成り立つからといって、$E[X]=0$ と考えてはいけない。積分の範囲を $[-R,2R]$ に変えれば、極限は $\frac1\pi\log2$ になる。極限のとり方で値が変わる。

Cauchy 分布は、期待値を仮定する定理が成り立たない例として以後の章で繰り返し使われる。独立な $\mathrm{Cauchy}(0,1)$ をいくつかとった平均は、また同じ分布に従う（第9章で特性関数 $\mathrm{e}^{-|t|}$ から示す）。このことから、大数の法則（第12章）は期待値の存在という仮定なしには成り立たないことが分かる。また独立な2つの $\mathrm N(0,1)$ の比が標準 Cauchy 分布に従うことは、第7章の変数変換で示す。

多変量正規分布

複数の確率変数が相関を持ちながら一緒にばらつく様子を記述する最も基本的な分布が、多変量正規分布である。定義には、独立な標準正規の線形変換を使う。この形の定義は、退化した場合（共分散行列が正則でない場合）も含めて扱えるからである。ベクトルは列ベクトルとし、転置を $\top$ で表す。

この記号が意味を持つには、分布が $A$ でなく $\Sigma=AA^\top$ だけで決まることを確かめる必要がある。

• 共分散行列が正則な場合は、下の命題で密度が $\bm\mu$ と $\Sigma$ だけで書けることから分かる。
• 一般の場合は、第9章の一意性定理を使って、特性関数 $\exp(\mathrm{i}\bm t^\top\bm\mu-\frac12\bm t^\top\Sigma\bm t)$ から示す。

証明

(1) 成分は $X_i=\mu_i+\sum_lA_{il}Z_l$ である。$E[Z_l]=0$ だから、$E[X_i]=\mu_i$ である。$Z_l$ どうしは独立なので、Kronecker のデルタを使って $E[Z_lZ_{l'}]=\delta_{ll'}$ と書ける。よって

$$\mathrm{Cov}(X_i,X_j)=E\Bigl[\sum_lA_{il}Z_l\sum_{l'}A_{jl'}Z_{l'}\Bigr]=\sum_{l,l'}A_{il}A_{jl'}\delta_{ll'}=(AA^\top)_{ij}=\Sigma_{ij}.$$

(2) $B\bm X+\bm c=(B\bm\mu+\bm c)+(BA)\bm Z$ は定義の形をしていて、$(BA)(BA)^\top=B\Sigma B^\top$ である。行列として第 $i$ 単位行ベクトルをとれば、$X_i=\mu_i+\sum_lA_{il}Z_l$ である。これが $\mathrm N(\mu_i,\Sigma_{ii})$ に従うことは、1変量の場合に帰着する。

1変量の場合を確かめておく。$a_l=A_{il}$ とし、$s^2=\sum_la_l^2>0$ とする。§6.3 の定理 6.26（独立な正規分布の和は正規分布）と命題 6.12 を合わせる。

すると $\sum_la_lZ_l\sim\mathrm N(0,s^2)$ である。$s=0$ なら $X_i=\mu_i$ である。

(3) 第7章 §7.2 で示す変数変換公式の、線形の場合を使う。$\bm X=\bm\mu+A\bm Z$ で行列 $A$ が正則なら、

$$f_{\bm X}(\bm x)=\frac{f_{\bm Z}(A^{-1}(\bm x-\bm\mu))}{|\det A|}$$

である。$\bm Z$ の同時密度は、独立性から $\prod_l\phi(z_l)=(2\pi)^{-d/2}\exp(-\frac12\bm z^\top\bm z)$ である。$\bm z=A^{-1}(\bm x-\bm\mu)$ を入れると

$$\bm z^\top\bm z=(\bm x-\bm\mu)^\top(A^{-1})^\top A^{-1}(\bm x-\bm\mu)=(\bm x-\bm\mu)^\top(AA^\top)^{-1}(\bm x-\bm\mu)=(\bm x-\bm\mu)^\top\Sigma^{-1}(\bm x-\bm\mu)$$

で、$\det\Sigma=(\det A)^2$ から $|\det A|=(\det\Sigma)^{1/2}$ である。これで (6.26) を得る。正定値であることは次から分かる。零でないベクトル $\bm v$ について $\bm v^\top\Sigma\bm v=|A^\top\bm v|^2>0$ となる（転置も正則なので）。

(4) 正則な対角行列 $\Sigma=\mathrm{diag}(\sigma_1^2,\dots,\sigma_d^2)$ を考える。$A_0=\mathrm{diag}(\sigma_1,\dots,\sigma_d)$ と置くと、$\Sigma=A_0A_0^\top$ と書ける。(3) を $A_0$ に使うと、(6.26) は

$$f(\bm x)=\prod_{i=1}^d\frac{1}{\sqrt{2\pi}\sigma_i}\exp\Bigl(-\frac{(x_i-\mu_i)^2}{2\sigma_i^2}\Bigr)$$

と1変数の密度の積に分かれる。分布は共分散行列で決まるので、もとの $A$ で作った $\bm X$ もこの密度を持つ。第4章 §4.3 から、$X_1,\dots,X_d$ は独立である。

(4) は、多変量正規分布に従う確率変数については「無相関なら独立」が成り立つことを述べている。一般の確率変数では無相関から独立は出ないので、これは正規分布に特有の性質である（下の落とし穴）。

2変量の場合を具体的に書いておく。$\sigma_1,\sigma_2>0,\ -1<\rho<1$ として

$$\Sigma=\begin{pmatrix}\sigma_1^2&\rho\sigma_1\sigma_2\\\rho\sigma_1\sigma_2&\sigma_2^2\end{pmatrix},\qquad\det\Sigma=\sigma_1^2\sigma_2^2(1-\rho^2)$$

と置く。$\rho$ は2つの成分の相関係数で、密度 (6.26) は $u_i=(x_i-\mu_i)/\sigma_i$ を使って

$$f(x_1,x_2)=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp\Bigl(-\frac{u_1^2-2\rho u_1u_2+u_2^2}{2(1-\rho^2)}\Bigr)\tag{6.27}$$

となる。次の逆行列を2次形式に入れれば確かめられる。

$$\Sigma^{-1}=\frac{1}{\det\Sigma}\begin{pmatrix}\sigma_2^2&-\rho\sigma_1\sigma_2\\-\rho\sigma_1\sigma_2&\sigma_1^2\end{pmatrix}$$

このような $\Sigma$ は次の $A$ で実現でき、成分は次のように書ける。

$$A=\begin{pmatrix}\sigma_1&0\\\rho\sigma_2&\sigma_2\sqrt{1-\rho^2}\end{pmatrix},\qquad X_1=\mu_1+\sigma_1Z_1,\quad X_2=\mu_2+\sigma_2\bigl(\rho Z_1+\sqrt{1-\rho^2}Z_2\bigr)$$

2つの成分の相関は、$X_2$ の式に含まれる項 $\rho\sigma_2Z_1$ から生じる。

確認テスト

オリジナル

1. 6.2-1 $X\sim\mathrm U(a,b)$ の平均と分散を計算せよ。また $U\sim\mathrm U(0,1)$ なら $a+(b-a)U\sim\mathrm U(a,b)$ であることを、分布関数で示せ。
2. 6.2-2 $Z\sim\mathrm N(0,1)$ について、部分積分で $E[Z^{2m}]=(2m-1)E[Z^{2m-2}]$ を示せ。これを使って $E[Z^4]$ と $E[Z^6]$ を求めよ。また $X\sim\mathrm N(\mu,\sigma^2)$ について $E[(X-\mu)^4]$ を求めよ。
3. 6.2-3 $\alpha>1$ とし、$X\sim\mathrm{Ga}(\alpha,\lambda)$ とする。$E[1/X]$ を求めよ。$X\sim\mathrm{Ga}(3,2)$ のときの値も答えよ。
4. 6.2-4 $X\sim\mathrm{Ex}(\lambda)$ とする。(a) $c>0$ について $cX\sim\mathrm{Ex}(\lambda/c)$ を示せ。(b) この確率変数以上の最小の整数 $\lceil X\rceil$ が、幾何分布 $\mathrm{Geo}(1-\mathrm{e}^{-\lambda})$ に従うことを示せ。
5. 6.2-5 $|\rho|<1$ とする。$(X,Y)$ が2変量正規分布に従うとする。平均は $\bm 0$、共分散行列は $\begin{pmatrix}1&\rho\\\rho&1\end{pmatrix}$ である。条件 $X=x$ のもとでの条件付き密度を $f_{Y\mid X}(y\mid x)=f(x,y)/f_X(x)$ とする。これが $\mathrm N(\rho x,1-\rho^2)$ の密度であることを示せ。さらに $Y-\rho X$ と $X$ が独立であることを示せ。