正規分布

統計学の復習　第6章 §6.1　★★★ 密度 $\frac{1}{\sqrt{2\pi}\sigma}\mathrm{e}^{-(x-\mu)^2/(2\sigma^2)}$ の積分が $1$、平均 $\mu$、分散 $\sigma^2$ になることを、Gauss 積分と部分積分で最後まで示す

この章は、対策本の第13章（連続型確率分布）と第14章の前半（14-1 離散一様分布・14-2 連続一様分布）に当たる。

第4章では、連続型の確率変数を密度 $f(x)$ で記述し、確率は $f$ を区間で積分して初めて得られること、累積分布関数 $F(x)=P(X\le x)$ を経由すると変換後の密度が出せることを確かめた。第5章では、離散型の代表的な分布を数え上げから導いた。この章では、連続型の代表的な分布として、正規分布・指数分布・連続一様分布の3つを取り上げ、離散一様分布もあわせて扱う。それぞれについて、密度の積分が $1$ になること、期待値と分散、分布の形を表す歪度と尖度を、積分の計算を省かずに導く。

3つの分布は、統計の中で別々の役割を持つ。正規分布は、独立な確率変数の和を平均と分散で標準化したものが近づく先（第8章の中心極限定理）であり、2級の推定と検定のほとんどは正規分布の数表を引く計算に帰着する。そのため、平均を引いて標準偏差で割る標準化と、独立な正規分布の和がまた正規分布になる再生性を、この章で証明つきで立てておく。指数分布は、第5章のポアソン分布と同じ状況（事象が一定の割合で独立に起こる）を、回数でなく待ち時間で見た分布であり、無記憶性という性質で特徴づけられる。一様分布は、区間の中で値が偏らない分布で、乱数から任意の分布を作る変換（確率積分変換）の出発点になる。

1級の統計数理では、これらの密度から尤度を書く、積率を積分で出す、変数変換で新しい分布を作る、という小問が大問の前半に並ぶ。正規分布の再生性を積率母関数で示す一般的な方法は数理統計の解説 第3章で、ポアソン過程の詳しい扱いは同じく第12章 §12.1 で扱うので、ここでは2級の範囲の道具（置換積分・部分積分・重積分の極座標変換）だけで導ける所まで書く。

密度の定義と正規化

括弧の中の2つ目の母数は分散 $\sigma^2$ であり、標準偏差 $\sigma$ ではない。$\mathrm{N}(50,100)$ と書かれていれば標準偏差は $10$ である。2級の問題文では「平均 $50$、分散 $100$ の正規分布」と「平均 $50$、標準偏差 $10$ の正規分布」の両方の言い方が使われるので、数値を代入する前にどちらなのかを確かめる。

式 (6.1) が密度であるためには、全区間の積分が $1$ でなければならない。$z=(x-\mu)/\sigma$ と置換すると $\mathrm{d} x=\sigma\,\mathrm{d} z$ なので

$$\int_{-\infty}^\infty f(x)\,\mathrm{d} x=\int_{-\infty}^\infty\frac{1}{\sqrt{2\pi}\,\sigma}\mathrm{e}^{-z^2/2}\,\sigma\,\mathrm{d} z=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^\infty\mathrm{e}^{-z^2/2}\,\mathrm{d} z$$

となり、次の Gauss 積分に帰着する。

証明

$\mathrm{e}^{-z^2/2}$ の原始関数は初等関数で書くことができないので、$I$ を直接計算することはできない。そこで $I^2$ を2つの変数の積分として書く。

$$I^2=\int_{-\infty}^\infty\mathrm{e}^{-x^2/2}\,\mathrm{d} x\int_{-\infty}^\infty\mathrm{e}^{-y^2/2}\,\mathrm{d} y=\iint_{\mathbb{R}^2}\mathrm{e}^{-(x^2+y^2)/2}\,\mathrm{d} x\,\mathrm{d} y.$$

被積分関数は原点からの距離 $r=\sqrt{x^2+y^2}$ だけで決まるので、極座標 $x=r\cos\theta$、$y=r\sin\theta$ に変換する。面積の要素は $\mathrm{d} x\,\mathrm{d} y=r\,\mathrm{d} r\,\mathrm{d}\theta$ になり、

$$I^2=\int_0^{2\pi}\!\!\int_0^\infty\mathrm{e}^{-r^2/2}\,r\,\mathrm{d} r\,\mathrm{d}\theta=2\pi\Bigl[-\mathrm{e}^{-r^2/2}\Bigr]_0^\infty=2\pi(0+1)=2\pi$$

となる。極座標に移すと $r$ が1つ掛かり、それが $\mathrm{e}^{-r^2/2}$ の微分の形を作るので積分が閉じた形で求まる。$I>0$ だから $I=\sqrt{2\pi}$ である。

したがって $\int f(x)\,\mathrm{d} x=\sqrt{2\pi}/\sqrt{2\pi}=1$ で、式 (6.1) は密度である。密度の前に付いた $1/(\sqrt{2\pi}\sigma)$ は、この積分を $1$ にそろえるための定数（正規化定数）であり、$\sigma$ が小さいほど山が高くなる。最大値は $x=\mu$ での $f(\mu)=1/(\sqrt{2\pi}\sigma)$ で、$\sigma<1/\sqrt{2\pi}\approx0.399$ なら $1$ を超える。第4章で確かめたとおり、密度は確率ではないので $1$ を超えても矛盾しない。

一方、累積分布関数 $\Phi(z)$ は同じ理由で初等関数では書くことができない。$I$ は全区間の積分なので極座標の工夫で求まったが、途中の $z$ までの積分にはその工夫が使えない。2級の試験で正規分布の確率を数表で引くのは、このためである。

期待値と分散

証明

まず $Z\sim\mathrm{N}(0,1)$ について示す。$\lvert z\rvert \varphi(z)$ の積分は $2\int_0^\infty z\varphi(z)\,\mathrm{d} z=2\varphi(0)$ で有限なので $E[Z]$ は存在する（第4章の期待値の定義は絶対収束を要求した）。$z\varphi(z)$ は奇関数なので、正の側と負の側の積分が打ち消し合って $E[Z]=0$ となる。

次に $E[Z^2]=\int z^2\varphi(z)\,\mathrm{d} z$ を部分積分で計算する。$\varphi'(z)=-z\varphi(z)$ であることを使い、$z^2\varphi(z)=z\cdot z\varphi(z)=-z\varphi'(z)$ と書くと

$$E[Z^2]=\int_{-\infty}^\infty\bigl(-z\varphi'(z)\bigr)\mathrm{d} z=\Bigl[-z\varphi(z)\Bigr]_{-\infty}^\infty+\int_{-\infty}^\infty\varphi(z)\,\mathrm{d} z=0+1=1.\tag{6.2}$$

境界の項は、$z\to\pm\infty$ で $\mathrm{e}^{-z^2/2}$ がどんな多項式よりも速く $0$ に近づくので $0$ である。よって $V[Z]=E[Z^2]-E[Z]^2=1$ である。

一般の $X\sim\mathrm{N}(\mu,\sigma^2)$ は、次の §6.1.4 で示すとおり $X=\mu+\sigma Z$ と書くことができる。第4章の $E[aX+b]=aE[X]+b$ と $V[aX+b]=a^2V[X]$ から、$E[X]=\mu$、$V[X]=\sigma^2$ となる。

同じ部分積分は高い次数でも使える。$k\ge2$ で $z^k\varphi(z)=-z^{k-1}\varphi'(z)$ と書いて部分積分すると、境界の項が消えて

$$E[Z^k]=(k-1)E[Z^{k-2}]\tag{6.3}$$

が得られる（確認テスト 6.1-3）。$E[Z^2]=1$ から $E[Z^4]=3$、$E[Z^6]=15$ となり、奇数次は対称性から $0$ である。$E[Z^4]=3$ は §6.2 の尖度で使う。

密度の形：対称性と変曲点

密度 (6.1) は $x=\mu$ について左右対称で、$x=\mu$ で最大になり、$\mu$ から離れるほど単調に減る。山の幅を $\sigma$ で測る根拠として、変曲点の位置を求める。標準正規分布で $\varphi'(z)=-z\varphi(z)$ をもう1回微分すると

$$\varphi''(z)=-\varphi(z)-z\varphi'(z)=-\varphi(z)+z^2\varphi(z)=(z^2-1)\varphi(z)$$

となる。$\varphi(z)>0$ なので $\varphi''$ の符号は $z^2-1$ の符号と一致し、$\lvert z\rvert <1$ で上に凸、$\lvert z\rvert >1$ で下に凸になる。変曲点は $z=\pm1$、もとの $x$ の目盛りでは $x=\mu\pm\sigma$ である。標準偏差 $\sigma$ は、平均から山の肩（曲がり方が変わる点）までの距離に当たる。

平均から $\sigma$ の何倍以内に入る確率は、$\sigma$ や $\mu$ によらず

$$P(\lvert X-\mu\rvert <\sigma)=0.6827,\qquad P(\lvert X-\mu\rvert <2\sigma)=0.9545,\qquad P(\lvert X-\mu\rvert <3\sigma)=0.9973\tag{6.4}$$

である。$\sigma$ や $\mu$ によらないのは、$P(\lvert X-\mu\rvert <k\sigma)=P(\lvert Z\rvert <k)$ と標準正規分布の確率に書き直せるからである。第4章の Chebyshev の不等式は、分布が分からないときの上界として $P(\lvert X-\mu\rvert \ge2\sigma)\le1/4$ を与えたが、正規分布と分かっていれば実際の値は $0.0455$ で、上界よりずっと小さい。

線形変換しても正規分布のまま

証明

第4章の単調変換の定理から、$Y=aX+b$ の密度は $f_Y(y)=f_X\bigl((y-b)/a\bigr)/\lvert a\rvert$ である。$(y-b)/a-\mu=(y-(a\mu+b))/a$ なので

$$f_Y(y)=\frac{1}{\lvert a\rvert }\cdot\frac{1}{\sqrt{2\pi}\,\sigma}\exp\Bigl(-\frac{(y-(a\mu+b))^2}{2a^2\sigma^2}\Bigr)=\frac{1}{\sqrt{2\pi}\,\lvert a\rvert \sigma}\exp\Bigl(-\frac{(y-(a\mu+b))^2}{2(\lvert a\rvert \sigma)^2}\Bigr)$$

となる。これは平均 $a\mu+b$、標準偏差 $\lvert a\rvert \sigma$ の正規分布の密度そのものである。$a=1/\sigma$、$b=-\mu/\sigma$ とすれば $Z$ の場合、$a=\sigma$、$b=\mu$ とすれば逆向きの場合になる。

期待値と分散が $a\mu+b$ と $a^2\sigma^2$ になることは、第4章の公式からどの分布でも成り立つ。この定理の内容は、分布の形が正規分布のまま保たれるという点にある。一般の分布では、線形変換で平均と分散は変わっても形の種類は保たれるが、2乗のような非線形の変換では形が変わる（$Z^2$ は正規分布でなく、第11章の自由度1の $\chi^2$ 分布になる）。

確認テスト

オリジナル

1. 6.1-1 $\mathrm{N}(\mu,\sigma^2)$ の密度の最大値を $\sigma$ で表し、最大値が $1$ を超えるのは $\sigma$ がどの範囲のときかを答えよ。
2. 6.1-2 $X\sim\mathrm{N}(10,3^2)$ のとき、$Y=5-2X$ の分布を答え、その密度を書け。
3. 6.1-3 $Z\sim\mathrm{N}(0,1)$ について、部分積分で $E[Z^k]=(k-1)E[Z^{k-2}]$（$k\ge2$）を示し、$E[(X-\mu)^4]=3\sigma^4$（$X\sim\mathrm{N}(\mu,\sigma^2)$）を導け。
4. 6.1-4 $X\sim\mathrm{N}(\mu,\sigma^2)$ のとき、$P(X>\mu+2\sigma)$ と $P(\mu-\sigma<X<\mu+2\sigma)$ を求めよ。$\Phi(1)=0.8413$、$\Phi(2)=0.9772$ を使ってよい。