母比率の検定

統計学の復習　第13章 §13.1　★★★ $H_0:p=p_0$ の下で $\hat p$ を標準化する。標準誤差に入れるのは $\hat p$ でなく $p_0$ で、ここが区間推定と違う

この章は、対策本の第24章（母比率の検定・母比率の差の検定・適合度検定・独立性の検定）に当たる。

第10章から第12章までは、測った量（長さ・重さ・得点）の平均を推定し、検定してきた。この章で扱うのは、数えた量である。「500人中何人が賛成したか」「サイコロの各目が何回出たか」「学部と朝食の習慣の組合せごとに何人いたか」のように、データが個数（度数）の形で与えられる場合の検定を4つ組み立てる。

第一に、1つの母比率 $p$ がある値 $p_0$ に等しいかを、二項分布の正規近似で検定する（§13.1）。ここで、検定の標準誤差には推定値 $\hat p$ でなく帰無仮説の値 $p_0$ を入れる理由を説明し、この検定を裏返すと第11章の Wilson の区間が出てくることを示す。第二に、2つの母比率が等しいかを検定する（§13.2）。第11章の差の区間推定では2群の比率を別々に標準誤差へ入れたが、検定では2群を合わせた比率（プールした比率）を使う。この違いがどこから来るのかを、差の分散の式1本から説明し、プールしない式で検定すると有意水準が保たれない場合があることを正確な計算で示す。第三に、度数が理論の確率に合っているかを調べる適合度検定を作る（§13.3）。統計量 $X^2=\sum(O_j-E_j)^2/E_j$ がなぜ $\chi^2$ 分布に近づくのかを、カテゴリが2つの場合には $Z^2$ に厳密に一致することから示し、自由度が「カテゴリ数 $-1-$ 推定した母数の数」になる理由を拘束の数として数える。第四に、分割表の2つの属性が独立かを調べる独立性検定を作る（§13.4）。自由度が $(r-1)(c-1)$ と掛け算になる理由、$2\times2$ 表の $X^2$ がプールした比率の差の検定の $Z^2$ と同じものであること、$2\times c$ 表を比率の比較として速く計算する式を導く。

1級の統計数理では、多項分布の尤度を書いて尤度比検定を作り、その統計量が Pearson の $X^2$ と近似的に等しいことを示す、という形でこの章の内容が問われる。統計応用（理工学）では分割表の検定が手続きとして使われる。$X^2$ が $\chi^2$ 分布に近づくことの一般の証明（多次元の中心極限定理と射影）は数理統計の解説 第7章 §7.4 で扱い、この章ではカテゴリが2つの場合だけを厳密に示す。

検定統計量

大きさ $n$ の無作為標本のうち、性質 A を持つものの個数を $X$ とする。第11章と同じく $X\sim\mathrm{Bin}(n,p)$ で、標本比率は $\hat p=X/n$ である。母比率 $p$ について、帰無仮説 $H_0:p=p_0$ を検定したい（$p_0$ は与えられた数）。

検定は、$H_0$ が正しいと仮定したときに、手元のデータがどれだけ起こりにくいかを測る手続きである（第12章）。したがって、統計量の分布は $H_0$ の下で計算する。$H_0$ の下では $X\sim\mathrm{Bin}(n,p_0)$ なので、第5章の二項分布の平均と分散から

$$E[\hat p]=p_0,\qquad V[\hat p]=\frac{p_0(1-p_0)}n$$

である。$n$ が大きければ、第8章の中心極限定理（二項分布の正規近似）から次が成り立つ。

(13.1) の2つの形は、分子と分母を $n$ 倍しただけの同じ量である。前の形は比率で、後の形は個数で計算するときに使う。近似の目安は、第11章と同じく $np_0\ge5$ かつ $n(1-p_0)\ge5$ である。区間推定では $n\hat p$ で目安を確かめたが、検定では分布を $H_0$ の下で考えるので、$p_0$ で確かめる。

標準誤差に $p_0$ を入れる理由

第11章の母比率の区間推定では、標準誤差を $\sqrt{\hat p(1-\hat p)/n}$ とし、分母の $p$ を推定値 $\hat p$ で置き換えた。検定の (13.1) では、同じ場所に $p_0$ が入っている。

この違いは、どちらの手続きも「未知の $p$ に、その場で一番もっともらしい値を入れる」という同じ原則から出てくる。区間推定では $p$ について何も仮定していないので、手元にある $p$ の情報は推定値 $\hat p$ だけである。そこで $\hat p$ を入れる。検定では、$H_0$ が正しい世界での $Z$ の分布を計算している。その世界では $p$ はちょうど $p_0$ で、分散も $p_0(1-p_0)/n$ と正確に分かっている。分かっている値をわざわざ推定値で置き換える理由は無いので、$p_0$ を入れる。

置き換えずに済むことには、近似の面での利点もある。(13.1) の分母は定数なので、$Z$ は $X$ の1次式にすぎず、$Z$ が $\mathrm{N}(0,1)$ に近いかどうかは二項分布の正規近似の精度だけで決まる。分母に $\hat p$ を入れると、分母も確率変数になり、特に $\hat p$ が $0$ や $1$ に近いときに分母が小さくなって $Z$ が大きく振れる。この問題は §13.2 の2標本の場合にはっきり現れる。

検定を裏返すと Wilson の区間になる

第12章で見るように、検定と区間推定は表裏の関係にある。有意水準 $\alpha$ の両側検定で棄却されない $p_0$ を全部集めると、信頼係数 $1-\alpha$ の信頼区間ができる。(13.1) の検定でこれを行うと、$z=z_{\alpha/2}$ として、棄却されない条件は

$$\lvert \hat p-p_0\rvert <z\sqrt{\frac{p_0(1-p_0)}n} \iff(\hat p-p_0)^2<\frac{z^2}np_0(1-p_0)$$

である。これは $p_0$ の2次不等式で、第11章で Wilson の区間を導いたときの不等式と、文字 $p$ が $p_0$ になっただけで同じである。したがって、(13.1) の検定で棄却されない $p_0$ の集合は、ちょうど第11章の Wilson の区間である。一方、第11章の Wald 型の区間 $\hat p\pm z\sqrt{\hat p(1-\hat p)/n}$ は、分母に $\hat p$ を入れた別の検定を裏返したものにあたる。2級では「検定は $p_0$、区間は $\hat p$」と使い分けるので、検定と区間の結論が境目の近くでまれに食い違うことがある。その食い違いは、2つの手続きが裏返しの関係にない別々の近似を使っていることから来る。

$n$ が小さいときの正確な検定

$np_0<5$ のように正規近似が使えないときは、二項分布の確率をそのまま足して $p$ 値を計算すればよい。たとえば $H_1:p>p_0$ の片側検定で $x$ 回成功したなら、$p$ 値は $H_0$ の下で $x$ 回以上成功する確率

$$P(X\ge x)=\sum_{k=x}^n\binom nk p_0^k(1-p_0)^{n-k}$$

である。両側検定の $p$ 値は、2級の範囲では、この片側の $p$ 値を2倍して求めることが多い（$p_0=1/2$ なら二項分布が左右対称なので、2倍がちょうど両側の確率になる）。二項分布は離散的なので、$p$ 値がちょうど $\alpha$ になる棄却域は一般には作れず、実際の第1種の過誤の確率は $\alpha$ 以下の飛び飛びの値になる。この離散性を補う確率化検定は数理統計の解説 第7章で扱う。

確認テスト

オリジナル

1. 13.1-1 母比率の検定 (13.1) では標準誤差に $p_0$ を、区間推定では $\hat p$ を入れる。その理由を2文で述べよ。
2. 13.1-2 1000人に尋ねたところ540人が賛成した。賛成の母比率が $1/2$ と異なるかを両側検定し、$p$ 値を求めて、有意水準 $5\%$ と $1\%$ のそれぞれで結論を述べよ。
3. 13.1-3 有意水準 $\alpha$ の両側検定 (13.1) で棄却されない $p_0$ の集合を、$p_0$ の2次不等式を解いて求めよ。結果が第11章の Wilson の区間と同じ式になることを確かめよ。
4. 13.1-4 $n=100$、$H_0:p=0.2$、$H_1:p>0.2$ を有意水準 $5\%$ で検定する。棄却域を「成功回数 $X$ がいくつ以上」の形で表せ。また、その棄却域に $X$ が入る $H_0$ の下での正確な確率を二項分布で求め、$0.05$ と比べよ。