適合度検定

数理統計　第7章 §7.4　★★ Pearson の $\chi^2$ 統計量とその自由度。分割表の独立性の検定を含む

多項分布と Pearson の $\chi^2$ 統計量

$n$ 個の観測を $k$ 個のカテゴリに分類する。カテゴリ $j$ に入った個数を $N_j$ とする（合計は観測数に等しい）。各観測が独立にカテゴリ $j$ に確率 $p_j$ で入るなら、度数の組は多項分布に従う。その平均・分散・共分散は次のとおりである。

$$E[N_j]=np_j,\qquad V[N_j]=np_j(1-p_j),\qquad \mathrm{Cov}(N_i,N_j)=-np_ip_j\quad(i\ne j).$$

単純仮説 $H_0:p_j=p_{j0}$（$j=1,\dots,k$）を検定したい。観測度数 $N_j$ と期待度数 $np_{j0}$ のずれをまとめた

$$X^2=\sum_{j=1}^k\frac{(N_j-np_{j0})^2}{np_{j0}}\tag{7.12}$$

を使う。これを Pearson の $\chi^2$ 統計量と呼ぶ。

証明

記号を簡単にするため、$p_{j0}$ を $p_j$ と略す。証明は3段に分かれる。

1. 度数ベクトルの漸近正規性。$\bm N=(N_1,\dots,N_k)^\top$ は、各観測のカテゴリを表す独立な指示ベクトル $\bm e_{(i)}$ の和である。指示ベクトルの第 $j$ 成分は、観測 $i$ がそのカテゴリに入れば 1、入らなければ 0 である。その平均と共分散行列は

$$\bm p=(p_1,\dots,p_k)^\top,\qquad \Sigma=\mathrm{diag}(\bm p)-\bm p\bm p^\top .$$

多次元の中心極限定理により $(\bm N-n\bm p)/\sqrt n\xrightarrow{d}\mathrm{N}_k(\bm 0,\Sigma)$。2. 標準化。次のようにおく。

$$D=\mathrm{diag}(p_1^{-1/2},\dots,p_k^{-1/2}),\qquad \bm Z_n=\frac{D(\bm N-n\bm p)}{\sqrt n}.$$

成分は $Z_{n,j}=(N_j-np_j)/\sqrt{np_j}$ なので、$X^2=\lVert \bm Z_n\rVert ^2$ である。極限は $\bm Z_n\xrightarrow{d}\mathrm{N}_k(\bm 0,D\Sigma D)$ で、$\bm u=(\sqrt{p_1},\dots,\sqrt{p_k})^\top$ とおくと

$$D\Sigma D=D\,\mathrm{diag}(\bm p)\,D-D\bm p\bm p^\top D=I_k-\bm u\bm u^\top .$$ 3. 射影の2乗ノルム。$\lVert \bm u\rVert ^2=\sum p_j=1$ なので、$A=I_k-\bm u\bm u^\top$ は直交射影である。射影先は $\bm u$ に直交する $k-1$ 次元部分空間で、次が成り立つ。

$$A^\top=A,\qquad A^2=A,\qquad \operatorname{rank}A=k-1 .$$

$\bm W\sim\mathrm{N}_k(\bm 0,I_k)$ をとる。$A\,I_k\,A^\top=A$ より $A\bm W\sim\mathrm{N}_k(\bm 0,A)$ である。

射影 $A$ を直交行列で対角化すると、固有値は 1 が $k-1$ 個、0 が1個である。よって $\lVert A\bm W\rVert ^2=\bm W^\top A\bm W$ は、独立な標準正規 $k-1$ 個の2乗和である。すなわち自由度 $k-1$ のカイ二乗分布に従う。

連続写像定理から $X^2=\lVert \bm Z_n\rVert ^2\xrightarrow{d}\chi^2_{k-1}$。

自由度がカテゴリ数 $k$ でなく $k-1$ になる理由は、ずれの和が 0 に縛られているからである。この制約のため、$k$ 個のずれのうち自由に動けるのは $k-1$ 個だけになる。

近似の目安として、期待度数がどのカテゴリでも 5 程度以上あることが求められる。足りなければ隣のカテゴリとまとめる。

尤度比統計量 $G^2$ との関係

同じ帰無仮説の尤度比検定を作る。全体での最尤推定量は $\hat p_j=N_j/n$ なので

$$G^2=-2\log\Lambda=2\sum_{j=1}^kN_j\log\frac{N_j}{np_{j0}}\tag{7.13}$$

となる。Wilks の定理からも $\chi^2_{k-1}$ が得られる。全体のパラメータは $\sum p_j=1$ の制約で $k-1$ 次元、帰無仮説は0次元だからである。

Pearson の統計量との関係を見るため、$E_j=np_{j0}$ とおき、$N_j=E_j+d_j$ と書く。対数を次のように展開する。

$$\log\Bigl(1+\frac{d_j}{E_j}\Bigr)=\frac{d_j}{E_j}-\frac{d_j^2}{2E_j^2}+\cdots$$

これを代入すると

$$G^2=2\sum_j(E_j+d_j)\left(\frac{d_j}{E_j}-\frac{d_j^2}{2E_j^2}+\cdots\right)=2\sum_jd_j+\sum_j\frac{d_j^2}{E_j}+\cdots$$

となる。ずれの和は $\sum_jd_j=0$ なので、$G^2=X^2+(\text{高次の項})$ である。ずれ $d_j$ は $\sqrt n$ の大きさで、期待度数は標本の大きさに比例する。よって高次の項は $n\to\infty$ で 0 に確率収束し、2つの統計量は漸近同等になる。

母数を推定する場合と分割表

帰無仮説が次の形の複合仮説である場合を考える。

$$H_0:\ p_j=p_j(\bm\eta)\quad(\bm\eta\ \text{は未知の}\ s\ \text{次元パラメータ}).$$

このときは $\bm\eta$ を最尤法で推定し、期待度数を $np_j(\hat{\bm\eta})$ として統計量を作る。極限分布は $\chi^2_{k-1-s}$ になる。Wilks の定理で、全体が $k-1$ 次元、帰無仮説が $s$ 次元だからである。

この結果は、パラメータを分類後の度数から最尤推定した場合のものである。元の生データから推定した場合は、極限分布が $\chi^2_{k-1-s}$ と $\chi^2_{k-1}$ の間に来る。実務では生データの推定値で $k-1-s$ を使うことが多い。

分割表の独立性の検定はこの代表例である。2つの属性で $a\times b$ 個のセルに分類し、記号を次のように置く。

• セル $(i,j)$ の度数を $N_{ij}$ とする。
• 行和を $N_{i\cdot}$、列和を $N_{\cdot j}$ とする。

独立性の仮説は $H_0:p_{ij}=p_{i\cdot}p_{\cdot j}$ である。このもとでの最尤推定量は

$$\hat p_{i\cdot}=N_{i\cdot}/n,\qquad \hat p_{\cdot j}=N_{\cdot j}/n$$

なので、期待度数と統計量は

$$\hat E_{ij}=n\hat p_{i\cdot}\hat p_{\cdot j}=\frac{N_{i\cdot}N_{\cdot j}}{n},\qquad X^2=\sum_{i,j}\frac{(N_{ij}-\hat E_{ij})^2}{\hat E_{ij}} .$$

自由度は、全体 $ab-1$ から推定したパラメータ $(a-1)+(b-1)$ を引いて

$$ab-1-(a-1)-(b-1)=(a-1)(b-1)$$

となる。

確認テスト

オリジナル

1. 7.4-1 次の2つの検定のそれぞれで、Pearson の統計量の自由度を答えよ。

   1. (a) $3\times4$ 分割表の独立性の検定。
   2. (b) 6 つのカテゴリに分けた度数にポアソン分布を当てはめ、$\lambda$ を推定する適合度検定。

2. 7.4-2 $2\times2$ 分割表の度数を $\begin{pmatrix}a&b\\c&d\end{pmatrix}$ とする。総数を $n=a+b+c+d$ とする。独立性の検定の統計量が

$$X^2=\frac{n(ad-bc)^2}{(a+b)(c+d)(a+c)(b+d)}$$

と書けることを示せ。また次の度数のときの値を求めて、有意水準 0.05 で判定せよ。

$$a=20,\qquad b=10,\qquad c=15,\qquad d=25.$$ 3. 7.4-3 100 個の観測を値で分類したところ、0 が 30 個、1 が 40 個、2 が 20 個、3 以上が 10 個（その 10 個の合計は 40）であった。ポアソン分布への当てはまりを、$\lambda$ を標本平均で推定して有意水準 0.05 で検定せよ。4. 7.4-4 カテゴリが2つのとき、Pearson の $X^2$ は二項分布 $N_1\sim\mathrm{Bin}(n,p_0)$ の標準化の2乗に等しいことを示せ。標準化とは次の量である。

$$Z=\frac{N_1-np_0}{\sqrt{np_0(1-p_0)}}.$$