$\chi^2$ 分布

統計学の復習　第11章 §11.4　★★★ 独立な標準正規の2乗和の分布。密度は自由度 $1$ と $2$ を直接計算し、自由度を $2$ ずつ上げる積分で全部の自由度が出る。期待値 $\nu$・分散 $2\nu$

定義

$\chi^2$ 分布は、第10章 §10.3 で $t$ 分布を定義するために、定義と密度の式と期待値・分散だけを先に置いた。この節では同じ定義から出発して、密度を導き、期待値と分散を確かめる。記号も第10章と同じく $W\sim\chi^2_\nu$ と書く。

$W$ は $\nu$ 個の2乗の和なので、値は $0$ 以上である。また定義から直ちに次の再生性が分かる。$W_1\sim\chi^2_m$ と $W_2\sim\chi^2_n$ が独立なら、$W_1$ を $m$ 個、$W_2$ を別の $n$ 個の独立な標準正規の2乗和として書くことができ、合わせて $m+n$ 個の2乗和になるので $W_1+W_2\sim\chi^2_{m+n}$ である。

統計で $\chi^2$ 分布が現れるのは、正規母集団の標本の偏差平方和が、標準正規の2乗和として書けるからである。母平均 $\mu$ が既知なら、$(X_i-\mu)/\sigma$ が独立な $\mathrm{N}(0,1)$ なので

$$\frac1{\sigma^2}\sum_{i=1}^n(X_i-\mu)^2\sim\chi^2_n\tag{11.9}$$

である。$\mu$ が未知で $\bar X$ を使う場合は、自由度が1つ減る（§11.4.5）。

ガンマ関数

密度の式に現れるガンマ関数は、第10章 §10.3 で名前と定義の式だけを示した。ここでその性質を導く。階乗を実数に広げた関数で、$a>0$ に対して

$$\Gamma(a)=\int_0^\infty x^{a-1}\mathrm{e}^{-x}\,\mathrm{d} x\tag{11.10}$$

である。部分積分で $\Gamma(a+1)=\bigl[-x^a\mathrm{e}^{-x}\bigr]_0^\infty+a\int_0^\infty x^{a-1}\mathrm{e}^{-x}\mathrm{d} x=a\Gamma(a)$ が成り立ち、$\Gamma(1)=\int_0^\infty\mathrm{e}^{-x}\mathrm{d} x=1$ と合わせて、正の整数 $m$ では $\Gamma(m)=(m-1)!$ になる。半整数の値は $\Gamma(1/2)=\sqrt\pi$ から出る。$x=z^2/2$ と置換すると $\mathrm{d} x=z\,\mathrm{d} z$、$x^{-1/2}=\sqrt2/z$ なので

$$\Gamma\Bigl(\frac12\Bigr)=\int_0^\infty\frac{\sqrt2}z\mathrm{e}^{-z^2/2}z\,\mathrm{d} z=\sqrt2\int_0^\infty\mathrm{e}^{-z^2/2}\mathrm{d} z=\sqrt2\cdot\frac{\sqrt{2\pi}}2=\sqrt\pi$$

である。最後に、標準正規分布の密度の積分が $1$ であること、すなわち $\int_{-\infty}^\infty\mathrm{e}^{-z^2/2}\mathrm{d} z=\sqrt{2\pi}$ の半分を使った。ガンマ関数とガンマ分布の一般的な性質は数理統計の解説 第3章 §3.2 で扱う。

密度の導出

証明

3段階で示す。2つの独立な連続型確率変数 $U,V$ の和の密度が $f_{U+V}(x)=\int f_U(t)f_V(x-t)\,\mathrm{d} t$ となることを使う。これは、全確率の公式の連続版 $P(U+V\le x)=\int f_U(t)P(V\le x-t)\,\mathrm{d} t$ を $x$ で微分すると得られる。

第1段（$\nu=1$）。 $W=Z^2$ の累積分布関数は、$x>0$ で

$$P(W\le x)=P(-\sqrt x\le Z\le\sqrt x)=2\Phi(\sqrt x)-1$$

である（$\Phi$ は標準正規分布の累積分布関数、$\varphi=\Phi'$ はその密度）。第4章の方法で $x$ について微分すると、$\mathrm{d}\sqrt x/\mathrm{d} x=1/(2\sqrt x)$ から

$$f_1(x)=2\varphi(\sqrt x)\cdot\frac1{2\sqrt x}=\frac1{\sqrt{2\pi}}x^{-1/2}\mathrm{e}^{-x/2}$$

となる。$c_1=1/(2^{1/2}\Gamma(1/2))=1/\sqrt{2\pi}$ なので、(11.11) の $\nu=1$ と一致する。

第2段（$\nu=2$）。 $Z_1^2$ と $Z_2^2$ は独立にそれぞれ密度 $f_1$ を持つので、$x>0$ で

$$f_2(x)=\int_0^xf_1(t)f_1(x-t)\,\mathrm{d} t=\frac{\mathrm{e}^{-x/2}}{2\pi}\int_0^x\frac{\mathrm{d} t}{\sqrt{t(x-t)}}$$

である（$t<0$ や $t>x$ では一方の密度が $0$ なので、積分の範囲は $0$ から $x$ になる。指数の部分は $\mathrm{e}^{-t/2}\mathrm{e}^{-(x-t)/2}=\mathrm{e}^{-x/2}$ で $t$ によらない）。残った積分は $t=x\sin^2\theta$（$0\le\theta\le\pi/2$）と置換すると、$\mathrm{d} t=2x\sin\theta\cos\theta\,\mathrm{d}\theta$、$\sqrt{t(x-t)}=x\sin\theta\cos\theta$ なので

$$\int_0^x\frac{\mathrm{d} t}{\sqrt{t(x-t)}}=\int_0^{\pi/2}2\,\mathrm{d}\theta=\pi$$

となる。よって $f_2(x)=\frac12\mathrm{e}^{-x/2}$ で、$c_2=1/(2\Gamma(1))=1/2$ と一致する。$\chi^2_2$ は平均 $2$ の指数分布 $\mathrm{Ex}(1/2)$ である。

第3段（$\nu$ から $\nu+2$ へ）。 $\nu$ で (11.11) が成り立つと仮定する。$\chi^2_{\nu+2}$ は $\chi^2_\nu$ と、それと独立な $\chi^2_2$ の和なので

$$f_{\nu+2}(x)=\int_0^xc_\nu t^{\nu/2-1}\mathrm{e}^{-t/2}\cdot\frac12\mathrm{e}^{-(x-t)/2}\,\mathrm{d} t=\frac{c_\nu}2\mathrm{e}^{-x/2}\int_0^xt^{\nu/2-1}\mathrm{d} t=\frac{c_\nu}2\mathrm{e}^{-x/2}\frac{x^{\nu/2}}{\nu/2}=\frac{c_\nu}\nu x^{(\nu+2)/2-1}\mathrm{e}^{-x/2}$$

となる。一方 $\Gamma(\nu/2+1)=(\nu/2)\Gamma(\nu/2)$ から $c_{\nu+2}=1/(2^{\nu/2}\cdot2\cdot(\nu/2)\Gamma(\nu/2))=c_\nu/\nu$ なので、$\nu+2$ でも (11.11) が成り立つ。第1段から奇数の自由度、第2段から偶数の自由度が順に全部得られる。

この証明は2級の範囲の積分だけで閉じている。積率母関数 $E[\mathrm{e}^{tW}]=(1-2t)^{-\nu/2}$ を使うともっと短く書けるが、それは数理統計の解説 第5章 §5.2 で扱う。

期待値・分散・形

証明

$Z\sim\mathrm{N}(0,1)$ について $E[Z^2]=V[Z]=1$ である。4次のモーメントは、$z\varphi(z)=-\varphi'(z)$ を使った部分積分で

$$E[Z^4]=\int_{-\infty}^\infty z^3\cdot z\varphi(z)\,\mathrm{d} z=\bigl[-z^3\varphi(z)\bigr]_{-\infty}^\infty+3\int_{-\infty}^\infty z^2\varphi(z)\,\mathrm{d} z=0+3\cdot1=3$$

となる。よって $V[Z^2]=E[Z^4]-E[Z^2]^2=3-1=2$ である。$W$ は独立な $Z_i^2$ の $\nu$ 個の和なので、期待値の線形性と、独立な和の分散は分散の和であること（第7章）から $E[W]=\nu$、$V[W]=2\nu$ である。

自由度がそのまま期待値になるので、$\chi^2_\nu$ に従う統計量の値が $\nu$ 程度ならよくある値、$\nu$ よりずっと大きければ珍しい値と読むことができる。

密度の形は $x^{\nu/2-1}$ と $\mathrm{e}^{-x/2}$ の積で決まる。$\nu=1$ では $x\to0$ で密度が発散し（積分は有限）、$\nu=2$ では $x=0$ で最大の単調減少である。$\nu\ge3$ では $x^{\nu/2-1}$ が $x=0$ で $0$ になるので峰ができ、$\log f_\nu$ を微分して $0$ と置くと $(\nu/2-1)/x-1/2=0$ から最頻値は $x=\nu-2$ である（確認テスト 11.4-3）。最頻値 $\nu-2$ は期待値 $\nu$ より小さく、分布は右に長い裾を引く。$\nu$ が大きくなると、$W$ は独立な $\nu$ 個の和なので中心極限定理から $(W-\nu)/\sqrt{2\nu}$ の分布が $\mathrm{N}(0,1)$ に近づき、形は左右対称に近くなる（図 11.2）。

標本分散と $\chi^2$ 分布

母分散の区間推定で使うのは次の定理である。

一般の $n$ での証明は、標本を直交変換して $\bar X$ の方向を1つ取り除く議論（Helmert 変換）を要するので、数理統計の解説 第5章 §5.2 で扱う。ここでは自由度が $n$ でなく $n-1$ になる理由を、式 (11.9) と比べて述べておく。偏差 $X_i-\bar X$ は $n$ 個あるが、その和は常に $\sum(X_i-\bar X)=0$ という1本の制約を満たすので、自由に動けるのは $n-1$ 個である。$\mu$ の代わりに同じデータから作った $\bar X$ を使ったことで、独立な標準正規の2乗の個数が1つ減る。$n=2$ の場合は直接確かめることができる（例題 11.6）。

定理 11.6 と組み合わせると、$E[(n-1)S^2/\sigma^2]=n-1$ から $E[S^2]=\sigma^2$（不偏性。第9章）、$V[(n-1)S^2/\sigma^2]=2(n-1)$ から

$$V[S^2]=\frac{\sigma^4}{(n-1)^2}\cdot2(n-1)=\frac{2\sigma^4}{n-1}\tag{11.13}$$

が出る。

確認テスト

オリジナル

1. 11.4-1 $\chi^2_4$ の密度を (11.11) から書き、$P(W>x)=\mathrm{e}^{-x/2}(1+x/2)$ を部分積分で示せ。この式で $x=9.488$ とすると上側確率がほぼ $0.05$ になることを確かめよ。
2. 11.4-2 $W\sim\chi^2_\nu$（$\nu\ge3$）のとき $E[1/W]=1/(\nu-2)$ を、密度の定数 $c_\nu$ と $c_{\nu-2}$ の比を使って示せ。
3. 11.4-3 $\nu\ge3$ のとき $f_\nu$ の最頻値が $\nu-2$ であることを示せ。$\nu=1,2$ では $f_\nu$ が $x>0$ で単調減少であることも確かめよ。
4. 11.4-4 正規母集団から大きさ $n=11$ の標本をとる。$\sigma^2=4$ のとき、$E[S^2]$、$V[S^2]$、$S^2$ の標準偏差を求めよ。