母比率の信頼区間

統計学の復習　第11章 §11.1　★★★ $\hat p$ を中心極限定理で標準化し、標準誤差の $p$ を $\hat p$ で置き換える。使う点は $z_{\alpha/2}$ で、$t$ は使わない

この章は、対策本の第20章（母比率の区間推定）・第21章（母分散の区間推定）に当たる。

第10章では、正規母集団の母平均について、母分散が既知なら標準正規分布、未知なら $t$ 分布を使って信頼区間を作った。この章では同じ考え方を、別の2つの母数に当てはめる。1つは成功・失敗の2値データの母比率 $p$、もう1つは正規母集団の母分散 $\sigma^2$ である。

2つの母数で使う分布が違うのは、推定量の分布の出自が違うからである。母比率の推定量 $\hat p$ は二項分布に従う成功回数を $n$ で割ったもので、厳密な分布は離散的である。区間を作るには、第8章 §8.5 の中心極限定理で $\hat p$ を正規分布で近似するしかない。母分散の推定量 $S^2$ は、正規母集団の下では $(n-1)S^2/\sigma^2$ が $\chi^2$ 分布に従うことが厳密に分かっている。こちらは近似を使わずに区間が作れる代わりに、母集団が正規分布であるという仮定に強く依存する。

この章で作る道具は次の4つである。第一に、母比率の信頼区間を、正規近似から導き、近似が崩れる条件と、2次不等式を解いて作る区間（Wilson の区間）まで含めて扱う。第二に、区間の幅を指定したときに必要な標本の大きさを逆算する。第三に、2つの母比率の差の信頼区間を作り、検定（第13章）でプールした比率を使うのに区間ではプールしない理由を説明する。第四に、$\chi^2$ 分布の密度を自由度 $1$ から積分だけで導き、その分布表の引き方を確かめたうえで、母分散の信頼区間を作る。

1級の統計数理では、「統計量の分布を導く → 母数を含みながら分布が母数によらない量（ピボット）を作る → 不等式を母数について解く」という区間の作り方そのものが記述で問われる。この章の母分散の区間は、その手順の最も基本的な例である。ピボットによる区間の一般論は数理統計の解説 第8章 §8.2 で扱う。

標本比率の分布

母集団の中で性質 A を持つものの割合を母比率 $p$ と呼ぶ。大きさ $n$ の無作為標本のうち性質 A を持つものの個数を $X$ とすると、$X\sim\mathrm{Bin}(n,p)$ である（母集団が標本に比べて十分大きければ、非復元抽出でも二項分布とみなしてよい。第5章 §5.4 の有限母集団修正 $(N-n)/(N-1)$ が $1$ に近いからである）。標本比率を $\hat p=X/n$ と書く。第5章で示した $E[X]=np$、$V[X]=np(1-p)$ と、第4章の $E[aX]=aE[X]$、$V[aX]=a^2V[X]$ から

$$E[\hat p]=p,\qquad V[\hat p]=\frac{p(1-p)}{n}\tag{11.1}$$

となる。$\hat p$ は $p$ の不偏推定量で（第9章）、分散は $n$ に反比例して小さくなる。

$X$ は成功なら $1$、失敗なら $0$ をとる独立なベルヌーイ確率変数 $B_1,\dots,B_n$ の和なので、$\hat p=(B_1+\cdots+B_n)/n$ は標本平均である。第8章 §8.5 の中心極限定理を平均 $p$、分散 $p(1-p)$ の母集団に当てはめると、$n$ が大きいとき

$$Z=\frac{\hat p-p}{\sqrt{p(1-p)/n}}\ \ \text{の分布は}\ \ \mathrm{N}(0,1)\ \ \text{で近似できる}\tag{11.2}$$

ことが分かる（第8章 §8.5 で扱った二項分布の正規近似）。

区間の導出

上側 $100\alpha/2\%$ 点 $z_{\alpha/2}$ を使うと、近似 (11.2) から

$$P\!\left(-z_{\alpha/2}\le\frac{\hat p-p}{\sqrt{p(1-p)/n}}\le z_{\alpha/2}\right)\approx1-\alpha$$

である。括弧の中を $p$ について解きたいが、分母にも $p$ が入っていて、そのままでは $p$ の2次不等式になる。2級で使う方法は、分母の $p$ だけを推定値 $\hat p$ に置き換えることである。$n$ が大きければ $\hat p$ は $p$ に近い（大数の法則）ので、分母を置き換えても近似の精度はほとんど変わらない。置き換えた後は分母が $p$ を含まないので、不等式は1次になり、

$$P\!\left(\hat p-z_{\alpha/2}\sqrt{\frac{\hat p(1-\hat p)}n}\le p\le\hat p+z_{\alpha/2}\sqrt{\frac{\hat p(1-\hat p)}n}\right)\approx1-\alpha$$

と解くことができる。

近似を使ってよい目安として、$n\hat p\ge5$ かつ $n(1-\hat p)\ge5$（成功も失敗も5回以上）がよく使われる。2級の問題文に「$n$ は十分大きいとする」と書かれるのは、この近似を前提にしていることの宣言である。

なぜ $t$ 分布を使わないのか

第10章の母平均では、母分散が未知なら $\sigma$ を $s$ で置き換えて $t$ 分布を使った。母比率でも標準誤差の $p$ を $\hat p$ で置き換えているのに、使う点は $z$ のままである。この違いは、未知の母数の数から説明できる。

正規分布 $\mathrm{N}(\mu,\sigma^2)$ には、$\mu$ と $\sigma^2$ という独立に動かせる2つの母数がある。母平均を推定したいとき、$\sigma$ は推定の対象ではないが、知らないと標準誤差が計算できない。そこで同じデータから $s$ を作って分母に入れる。分母が定数でなく確率変数になるので、比 $(\bar X-\mu)/(s/\sqrt n)$ のばらつきは $\mathrm{N}(0,1)$ より大きくなり、その分布が厳密に $t_{n-1}$ になる（第10章）。$t$ 分布は、この置き換えの影響を正確に補正するための分布である。

ベルヌーイ分布の母数は $p$ の1つだけで、分散 $p(1-p)$ は $p$ が決まれば自動的に決まる。標準誤差の $p$ を $\hat p$ で置き換えることは、別の未知の母数を推定することではなく、すでに分かっている関数関係に推定値を代入しているだけである。しかも $\hat p$ の厳密な分布はもともと離散的な二項分布で、(11.2) の段階ですでに正規分布で近似している。分母を置き換える誤差は、この近似の誤差と同じ程度の大きさの小さな項に含まれてしまうので、$t$ 分布に替えても区間の精度は上がらない。母比率の区間の精度を決めているのは $n\hat p$ と $n(1-\hat p)$ の大きさであって、$t$ と $z$ の違いではない。

近似の崩れと、2次不等式を解く区間

区間 (11.3) が「95% の確率で $p$ を含む」というのは近似にすぎない。$X$ は整数値しかとらないので、実際にどれだけの確率で $p$ を含むか（被覆確率）は、二項分布の確率を足し合わせて正確に計算することができる。$n=50$ のとき、各 $p$ について $X=0,1,\dots,50$ のうち区間が $p$ を含む $X$ の確率を足したものを図 11.1 に示す。

被覆確率が名目を下回る原因は2つある。1つは $X$ が離散的で、正規分布の連続な裾と一致しないこと、もう1つは $p$ が $0$ や $1$ に近いと二項分布が強く歪むことである。特に $x=0$ の場合、$\hat p=0$ で標準誤差も $0$ になり、区間 (11.3) は1点 $[0,0]$ につぶれてしまう。10回中1回も起きなかったからといって $p=0$ と結論することはできず、この区間は使うことができない。

この欠点は、分母の $p$ を $\hat p$ に置き換えずに、2次不等式をそのまま解くことで小さくなる。$\lvert \hat p-p\rvert \le z\sqrt{p(1-p)/n}$（$z=z_{\alpha/2}$）の両辺は負でないので2乗してよく、

$$(\hat p-p)^2\le\frac{z^2}np(1-p) \iff\Bigl(1+\frac{z^2}n\Bigr)p^2-\Bigl(2\hat p+\frac{z^2}n\Bigr)p+\hat p^2\le0$$

となる。左辺は $p$ の2次式で $p^2$ の係数が正なので、この不等式を満たす $p$ は2つの根の間である。根の公式で判別式を整理すると $(2\hat p+z^2/n)^2-4(1+z^2/n)\hat p^2=4(z^2/n)\hat p(1-\hat p)+(z^2/n)^2$ なので、

$$p=\frac{\hat p+\dfrac{z^2}{2n}\pm z\sqrt{\dfrac{\hat p(1-\hat p)}n+\dfrac{z^2}{4n^2}}}{1+\dfrac{z^2}n}\tag{11.4}$$

が区間の両端になる。これを Wilson の区間と呼ぶ。中心は $\hat p$ でなく、$\hat p$ を $1/2$ の側に少し引き寄せた点で、$x=0$ でも幅が $0$ にならない。$n$ が大きいと $z^2/n$ の項は無視でき、(11.4) は (11.3) に一致する。2級で問われるのは (11.3) だが、2次不等式から区間を作る手順は1級の記述でそのまま使う形である。二項分布の確率そのものから作る正確な区間（Clopper–Pearson の区間）と、漸近正規性から作る区間の一般論は数理統計の解説 第8章 §8.2 で扱う。

確認テスト

オリジナル

1. 11.1-1 母平均の区間では母分散が未知なら $t$ 分布を使うのに、母比率の区間では標準誤差に $\hat p$ を入れても $z$ を使う。その理由を、未知の母数の個数に触れて2〜3文で説明せよ。
2. 11.1-2 1200人を調べたところ420人がある商品を知っていた。認知率の99% 信頼区間を Wald 型で求めよ（$z_{0.005}=2.576$）。
3. 11.1-3 20個を検査して不良品が1個もなかった。Wald 型の95% 区間がどうなるかを述べ、Wilson の区間 (11.4) を $\hat p=0$ として計算せよ。
4. 11.1-4 片側の区間 $p\le\hat p+z_{\alpha}\sqrt{\hat p(1-\hat p)/n}$ を上側信頼限界と呼ぶ。この不等式が近似的に確率 $1-\alpha$ で成り立つことを (11.2) から説明し、400個中24個が不良だったときの不良率の95% 上側信頼限界を求めよ（$z_{0.05}=1.645$）。