母比率の差の検定

統計学の復習　第13章 §13.2　★★★ $H_0:p_1=p_2$ の下では共通の比率が1つしかないので、2群を合わせて推定する（プール）。差の区間推定では $H_0$ を置かないのでプールしない

差の分散と、$H_0$ の下での形

独立な2つの標本で、第1群は $n_1$ 人中 $X_1$ 人、第2群は $n_2$ 人中 $X_2$ 人が性質 A を持っていたとする。$X_1\sim\mathrm{Bin}(n_1,p_1)$、$X_2\sim\mathrm{Bin}(n_2,p_2)$ は独立である。帰無仮説 $H_0:p_1=p_2$ を検定したい。

比べるのは $\hat p_1-\hat p_2$ である。2群が独立なので共分散は $0$ で、第7章の $V[X-Y]=V[X]+V[Y]$ から、$p_1,p_2$ が何であっても

$$E[\hat p_1-\hat p_2]=p_1-p_2,\qquad V[\hat p_1-\hat p_2]=\frac{p_1(1-p_1)}{n_1}+\frac{p_2(1-p_2)}{n_2}\tag{13.2}$$

が成り立つ。この式は第11章で差の区間推定に使ったものと同じである。

$H_0$ の下では $p_1=p_2$ なので、共通の値を $p$ と書くと、(13.2) は

$$E[\hat p_1-\hat p_2]=0,\qquad V[\hat p_1-\hat p_2]=p(1-p)\Bigl(\frac1{n_1}+\frac1{n_2}\Bigr)$$

になる。2つの項に同じ $p$ が入るので、$p(1-p)$ を括り出すことができる。

この $p$ は $H_0$ が指定していない未知の値なので、データから推定する必要がある。$H_0$ の下では、第1群の $n_1$ 人も第2群の $n_2$ 人も、同じ確率 $p$ で性質 A を持つ。したがって $n_1+n_2$ 人全体を1つの標本とみなしてよく、$p$ の推定値として全体の比率

$$\hat p=\frac{X_1+X_2}{n_1+n_2}=\frac{n_1}{n_1+n_2}\hat p_1+\frac{n_2}{n_1+n_2}\hat p_2\tag{13.3}$$

を使う。これをプールした比率（合併した比率）と呼ぶ。2番目の形から分かるように、$\hat p$ は2群の比率を標本の大きさで重み付けた平均である。

分子 $\hat p_1-\hat p_2$ は、独立な2つの標本平均の差なので、中心極限定理から近似的に正規分布に従う。分母の $\hat p$ は、$H_0$ の下で $n_1+n_2$ 個のデータから作った $p$ の推定量で、大数の法則により $n_1+n_2$ が大きければ $p$ に近い。分母の $p$ を $\hat p$ で置き換えた影響は、第11章の母比率の区間の場合と同じ理由で、正規近似の誤差に比べて小さい。

検定はプール、区間推定は非プールである理由

第11章の差の信頼区間では、標準誤差を

$$\sqrt{\frac{\hat p_1(1-\hat p_1)}{n_1}+\frac{\hat p_2(1-\hat p_2)}{n_2}}$$

とし、2群の比率を別々に入れた（非プール）。検定の (13.4) はこれと形が違うが、別の公式から出てきたものではない。どちらも差の分散 (13.2) という同じ和で、違うのは「和の各項の $p_1,p_2$ に何を入れるか」だけである。

区間推定では $p_1$ と $p_2$ が等しいとは仮定しない。2つの未知の値には、それぞれの群の推定値 $\hat p_1,\hat p_2$ を入れるほかない。検定では、$H_0$ の世界での分布を計算している。その世界では $p_1=p_2$ で、未知の値は1つしかない。1つの値を推定するのに、片方の群だけを使う理由は無く、$n_1+n_2$ 個全部を使った方が推定のばらつきが小さい。これは §13.1 の「検定は $H_0$ の値、区間は標本の値」という原則を2標本に当てはめたものである。1標本では $H_0$ が値 $p_0$ まで指定していたのでそれを入れ、2標本では $H_0$ が「等しい」としか言わないので、等しいという条件の下での推定値 $\hat p$ を入れる。

第10章の2標本の $t$ でも同じ形のことが起きていた。等分散 $\sigma_1^2=\sigma_2^2$ を仮定すると、$\bar X_1-\bar X_2$ の分散 $\sigma_1^2/n_1+\sigma_2^2/n_2$ の2つの項に同じ $\sigma^2$ が入り、それを2群をまとめた不偏分散 $S_p^2$（第9章・第10章）で推定した。比率の場合との違いは、平均の場合の等分散が問題文で与えられる仮定であるのに対し、比率の場合は $H_0$ そのものから「分散の中の $p$ が等しい」ことが出てくる点である。比率の差の検定では、$H_0$ の世界では仮定が定義から正しいので、等分散の確認にあたる手続きは要らない。

プールしないと有意水準が保たれない場合

非プールの標準誤差で検定しても、$n_1,n_2$ が十分大きければ $H_0$ の下で統計量は $\mathrm{N}(0,1)$ に近づくので、大標本では間違いではない。しかし $n_1$ と $n_2$ の大きさが大きく違い、$p$ が小さいときには、非プールの検定は有意水準を保たない。

その理由は、小さい方の群の $\hat p_i$ が偶然 $0$ になりやすいことにある。$\hat p_1=0$ だと、非プールの標準誤差の第1項 $\hat p_1(1-\hat p_1)/n_1$ が $0$ になり、標準誤差が実際のばらつきより小さく見積もられる。その結果、分母が小さくなって統計量の絶対値が大きく出て、$H_0$ が正しいのに棄却してしまう。プールした比率は $n_1+n_2$ 個全部から作るので、片方の群が $0$ でも全体が $0$ になることは少なく、この問題が起きにくい。

$n_1=20$、$n_2=80$ のとき、$H_0:p_1=p_2=p$ の下で、両側 $5\%$ の検定が実際に $H_0$ を棄却する確率（第1種の過誤の確率）は、$X_1=0,\dots,20$ と $X_2=0,\dots,80$ の全部の組の二項確率を足し合わせて正確に計算できる。結果を図 13.1 に示す。

図の $p=0.05$ では、プールした検定の棄却確率は $0.047$ で名目の $0.05$ に近いのに対し、非プールの検定は $0.208$ で、「有意水準 $5\%$」と称しながら5回に1回は $H_0$ を棄却してしまう。非プールの検定が棄却しやすいことは、$H_0$ が正しくても棄却しているだけなので、検出力が高いことを意味しない。

確認テスト

オリジナル

1. 13.2-1 母比率の差の検定ではプールした比率を、差の信頼区間では各群の比率を標準誤差に入れる。その理由を、差の分散の式 (13.2) に触れて2〜3文で述べよ。
2. 13.2-2 男性300人のうち96人、女性250人のうち60人がある商品を購入した経験があった。購入率に男女差があるかを、有意水準 $5\%$ で両側検定せよ。
3. 13.2-3 13.2-2 のデータで、購入率の差 $p_1-p_2$ の95% 信頼区間を求めよ。区間が $0$ を含むかどうかと 13.2-2 の結論が合っているかを確かめよ。
4. 13.2-4 $H_0:p_1=p_2=p$ の下で、プールした比率 (13.3) が $p$ の不偏推定量であることを示し、その分散 $V[\hat p]$ を求めよ。$V[\hat p]$ が $V[\hat p_1]$ と $V[\hat p_2]$ のどちらよりも小さいことを確かめよ。