全数調査と標本調査

統計学の復習　第8章 §8.2　★★ 全数調査でも誤差は残る。標本調査の誤差は、$n$ を増やすと小さくなる標本誤差と、$n$ によらない非標本誤差（偏り）に分かれ、平均二乗誤差は分散と偏りの2乗の和になる

全数調査と標本調査の使い分け

母集団のすべての個体を調べる方法を全数調査（悉皆調査）、一部を取り出して調べる方法を標本調査と呼ぶ。全数調査では標本の選び方による偶然のぶれは生じないが、費用と時間が大きい。標本調査を選ぶ理由は次の4つに分けて考えることができる。

1. 費用と時間。母集団が大きいと全数調査は実行できないか、結果が出るまでに状況が変わってしまう。
2. 破壊検査。電球の寿命や食品の成分のように、調べると製品が使えなくなる場合は、全数を調べると売る物が残らない。
3. 無限母集団。測定の繰り返しや将来の製品のように、母集団の個体をすべて取り出すことがそもそもできない。
4. 調査の質。調べる個体を減らすと、1件ごとの測定や聞き取りを丁寧に行うことができ、後で述べる非標本誤差を小さくすることができる。

逆に、母集団が小さく1件の誤りの重みが大きい場合（少人数の組織の名簿の確認や、法律で全数を調べることが決まっている調査）は全数調査を選ぶ。

標本を取り出す元になる個体の一覧（名簿・番号の表）を抽出枠（フレーム）と呼ぶ。抽出枠に載っていない個体は標本に選ばれる可能性がないので、抽出枠と母集団のずれはそのまま結果の偏りになる。

標本誤差と非標本誤差

推定値と母数の差（誤差）は、原因で2つに分かれる。

1. 標本誤差。どの個体が選ばれたかという偶然によるぶれで、無作為抽出をしていれば確率の計算で大きさを評価できる。標本平均では標準誤差 $\sigma/\sqrt n$ が目安で、$n$ を増やすと小さくなり、全数調査では $0$ になる。
2. 非標本誤差。抽出枠の不備（枠に載らない層がある）、回答しない人がいること（無回答）、質問の仕方や測定の誤り、集計の誤りなど、抽出の偶然以外の原因による誤差である。全数調査でも生じ、$n$ を増やしても小さくならない。

この2つは、推定量 $T$ が母数 $\theta$ からどれだけ離れるかを測る平均二乗誤差 $\mathrm{MSE}(T)=E[(T-\theta)^2]$ の分解として式に表すことができる。$T$ の期待値を $E[T]$ と書き、$T-\theta=(T-E[T])+(E[T]-\theta)$ と分けて2乗の期待値をとると、交差項は $2(E[T]-\theta)\,E[T-E[T]]=0$ なので

$$\mathrm{MSE}(T)=V[T]+\bigl(E[T]-\theta\bigr)^2\tag{8.5}$$

となる。第2項の $E[T]-\theta$ を偏り（バイアス）と呼ぶ。標本誤差は第1項の $V[T]$ に、非標本誤差の多くは第2項の偏りに現れる。$V[T]$ は $n$ に反比例して小さくなるが、偏りは $n$ によらないので、$n$ が大きい調査ほど $\mathrm{MSE}$ の中で偏りの割合が大きくなる。

必要な標本の大きさ

母比率 $p$ を標本比率 $\hat p$ で推定するとき、標準誤差を $e$ 以下にしたい場合に必要な $n$ を、有限母集団修正を含めて求める。非復元抽出の $\hat p$ は0か1の値の標本平均なので、定理 8.3 から $V[\hat p]=\dfrac{p(1-p)}n\cdot\dfrac{N-n}{N-1}$ である。これが $e^2$ 以下という条件を $n$ について解くと

$$p(1-p)(N-n)\le e^2n(N-1)\iff Np(1-p)\le n\bigl\{(N-1)e^2+p(1-p)\bigr\}$$

となるので

$$n\ge\frac{Np(1-p)}{(N-1)e^2+p(1-p)}\tag{8.6}$$

を得る。$N\to\infty$ では右辺は $p(1-p)/e^2$ に近づき、修正のない式 $V[\hat p]=p(1-p)/n\le e^2$ と一致する。$p$ が分からないときは、$p(1-p)$ が $p=1/2$ で最大値 $1/4$ をとることを使い、$p=1/2$ として安全側の $n$ を求める。信頼係数95%の区間の幅で条件を与える場合は、$e$ の代わりに「区間の半幅 $/1.96$」を使う（第11章で扱う）。

確認テスト

オリジナル

1. 8.2-1 次の調査は全数調査と標本調査のどちらで行うのが適切か。理由を1行で答えよ。(a) 出荷する花火の点火時間の検査　(b) 社員20人の会社での健康診断の受診状況の確認　(c) 全国の小学生の睡眠時間の平均の把握
2. 8.2-2 推定量 $T$ と母数 $\theta$ について、式 (8.5) $\mathrm{MSE}(T)=V[T]+(E[T]-\theta)^2$ を、交差項が $0$ になる理由を明記して示せ。
3. 8.2-3 母数 $\theta$ の推定量として、偏りが $0$ で分散が $4/n$ の $T_1$ と、偏りが $0.1$ で分散が $1/n$ の $T_2$ がある。平均二乗誤差で比べて $T_1$ の方が小さくなるのは $n$ がいくつより大きいときか。
4. 8.2-4 $N=500$ 人の部員の中での賛成の割合を、標準誤差 $0.02$ 以下で推定したい。$p$ が分からないとき、必要な標本の大きさの最小値を式 (8.6) で求めよ。有限母集団修正をしない場合と比べよ。