母集団と標本

統計学の復習　第8章 §8.1　★★★ 標本は「母集団分布に従う独立な確率変数の組」として立てる。標本平均の期待値は $\mu$、分散は $\sigma^2/n$ で、戻さない抽出では有限母集団修正がかかる

この章は、対策本の第15章（標本と抽出）と第16章（大数の法則と中心極限定理）に当たる。

第4章から第7章までは、分布が分かっている確率変数について確率・期待値・分散を計算した。統計の問題では向きが逆になり、手元にあるのは母集団から取り出した有限個の値だけで、母集団の分布やその平均は分からない。この章では、取り出した値を確率変数の組 $X_1,\dots,X_n$ として扱う約束を立て、その約束の下で標本平均 $\bar X$ の期待値が母平均 $\mu$ に、分散が $\sigma^2/n$ になることを導く。そのうえで、$n$ を大きくすると $\bar X$ が $\mu$ に近づくこと（大数の法則）と、$\bar X$ の分布の形が正規分布に近づくこと（中心極限定理）を述べる。

前半の3節は標本の取り方を扱う。全数調査と標本調査の使い分け、標本誤差と非標本誤差の区別、単純無作為抽出・層別抽出・クラスター抽出などの方法を、推定量の分散を比べる式で整理する。後半の2節は $n\to\infty$ の極限を扱う。大数の法則は第4章の Chebyshev の不等式から1行で出るので証明までを書き、中心極限定理は主張と使い方を書く。1級では、統計数理の大問の多くが「標本平均の期待値と分散を出す → 一致性を示す → 漸近正規性から区間や検定を作る」という順で進み、この章の結果がその最初の2段になる。確率収束・分布収束の厳密な定義と中心極限定理の証明は、数理統計の解説 第5章 §5.3 で扱う。

母集団・母数・標本

調べたい対象の全体を母集団と呼び、母集団に属する1つ1つを個体と呼ぶ。個体ごとに測る量（身長・世帯の人数・製品の寿命など）の値が母集団の中でどう分布しているかを母集団分布と呼ぶ。母集団分布の平均と分散を母平均 $\mu$ と母分散 $\sigma^2$ と呼び、このように母集団分布を特徴づける定数をまとめて母数（パラメータ）と呼ぶ。

母集団が $N$ 個の個体からなり、それぞれの値が $v_1,\dots,v_N$ であるとき、母平均と母分散は

$$\mu=\frac1N\sum_{j=1}^Nv_j,\qquad\sigma^2=\frac1N\sum_{j=1}^N(v_j-\mu)^2\tag{8.1}$$

である。母分散は $N$ で割る。$v_1,\dots,v_N$ は確率変数でなく定数の全体なので、第2章で $n-1$ で割る不偏分散を導入した理由（平均を推定値で置き換えたことの補正）はここには当てはまらない。製品の寿命のように個体を際限なく作ることができる場合や、測定を何回でも繰り返すことができる場合は、母集団を無限個の個体の集まりと考え、母集団分布をそのまま確率分布（密度 $f(x)$ や確率関数）として扱う。

母集団から取り出した一部の個体を標本と呼び、その個数 $n$ を標本の大きさ（サンプルサイズ）と呼ぶ。標本から母集団の性質を推し量ることが統計的推測である。

標本を確率変数の組として扱う

標本の値を取り出す前の段階で考える。$i$ 回目に取り出す個体の値は、どの個体が選ばれるかによって変わるので、取り出す前には1つの数に決まっていない。この「$i$ 回目に取り出す値」を確率変数 $X_i$ と置く。添字 $i$ は「何回目の取り出しか」を表すただの通し番号で、$i=1,\dots,n$ と固定しておいてよい。偶然の要素は添字でなく、$X_i$ という確率変数の側にすでに含まれている。

このことは、有限母集団で次のように構成すると見える。$i$ 回目に選ぶ個体の番号を $J_i$ とし、$J_i$ は $\{1,\dots,N\}$ の上の一様分布に従い、$J_1,\dots,J_n$ は互いに独立とする（取り出した個体を毎回戻す抽出、すなわち復元抽出）。そのうえで $X_i=v_{J_i}$ と定める。値 $v$ を持つ個体の数を $\#\{j:v_j=v\}$ と書くと

$$P(X_i=v)=P\bigl(v_{J_i}=v\bigr)=\frac{\#\{j:v_j=v\}}N$$

となり、$X_i$ の分布は「母集団の中で値 $v$ を持つ個体の割合」、すなわち母集団分布そのものになる。したがって $E[X_i]=\frac1N\sum_jv_j=\mu$、$V[X_i]=\frac1N\sum_j(v_j-\mu)^2=\sigma^2$ であり、$J_i$ が独立なので $X_1,\dots,X_n$ も独立である。一度この構成で $X_i$ を定めたら、以後の計算には $J_i$ を書かず $X_i$ だけを使う。乱数の部分は $X_i$ の分布に移してあるからである。

標本平均 $\bar X=\frac1n\sum_{i=1}^nX_i$ や不偏分散 $S^2=\frac1{n-1}\sum_{i=1}^n(X_i-\bar X)^2$、最大値 $\max_iX_i$ は統計量である。一方、$\mu$ が未知のときの $\sum_i(X_i-\mu)^2$ は、未知の母数 $\mu$ を含むので統計量ではない。統計量も確率変数の関数なので確率変数であり、その分布（標本分布）は「大きさ $n$ の標本を取り出す実験を繰り返したら、$T$ の値がどうばらつくか」を表す。実際に実験を繰り返す必要はなく、標本分布は $X_1,\dots,X_n$ の同時分布から計算で決まる。

大文字と小文字の区別は、この章から先の推定と検定で混乱を防ぐために守る。$\bar X$ は確率変数で、期待値や分散や「$\bar X>53$ となる確率」を考えることができる。実現値 $\bar x$ は1つの数で、確率を考える対象にならない。「標本平均が53を超える確率」という問いは、取り出す前の $\bar X$ について問うている。

標本平均の期待値と分散

証明

期待値は線形性（第4章）から $E[\bar X]=\frac1n\sum_iE[X_i]=\frac1n\cdot n\mu=\mu$ である。分散は、$\bar X-\mu=\frac1n\sum_i(X_i-\mu)$ と書いて2乗を展開する。$n$ 個の和の2乗は、添字が等しい $n$ 個の項（対角項）と、添字が異なる $n(n-1)$ 個の項（非対角項）に分かれ、

$$V[\bar X]=E\Bigl[\Bigl(\frac1n\sum_{i=1}^n(X_i-\mu)\Bigr)^2\Bigr] =\frac1{n^2}\Bigl\{\sum_{i=1}^nE\bigl[(X_i-\mu)^2\bigr]+\sum_{i\ne j}E\bigl[(X_i-\mu)(X_j-\mu)\bigr]\Bigr\}$$

となる。対角項はそれぞれ $V[X_i]=\sigma^2$ である。非対角項は $\mathrm{Cov}(X_i,X_j)$ で、$X_i$ と $X_j$ が独立なので $E[(X_i-\mu)(X_j-\mu)]=E[X_i-\mu]\,E[X_j-\mu]=0$ になる。よって $V[\bar X]=\frac1{n^2}\cdot n\sigma^2=\frac{\sigma^2}n$ である。

式 (8.2) の2つの式は、意味が違う。$E[\bar X]=\mu$ は「標本平均は平均的には母平均に一致し、系統的にずれない」ことを表す。$V[\bar X]=\sigma^2/n$ は「そのぶれの大きさは $n$ に反比例して小さくなる」ことを表し、標準誤差は $\sqrt n$ に反比例する。

精度（標準誤差）を半分にするには標本を4倍にしなければならない、という事実もこの式から読める。定理 8.2 は独立性と平均・分散だけを使っており、母集団分布の形（正規分布かどうか）には触れていない。

戻さない抽出と有限母集団修正

有限母集団から個体を戻さずに取り出す抽出（非復元抽出）では、同じ個体が2度選ばれることはない。この場合も、対称性から各 $X_i$ の分布は母集団分布のままで、$E[X_i]=\mu$、$V[X_i]=\sigma^2$ である（$i$ 回目に特定の個体が選ばれる確率は、何回目であっても $1/N$）。ただし $X_1,\dots,X_n$ は独立でなくなる。1回目に大きな値が出ると、残りの個体の平均が下がるからである。

証明

対称性から、$i\ne j$ の共分散 $\mathrm{Cov}(X_i,X_j)$ は組 $(i,j)$ によらない値 $c$ になる。$c$ を決めるために、母集団の全員を取り出し切る場合 $n=N$ を考える。このとき $X_1+\cdots+X_N$ は全個体の値の和 $\sum_jv_j$ に等しい定数なので、分散は $0$ である。一方、和の分散を対角項と非対角項に分けると

$$0=V\Bigl[\sum_{i=1}^NX_i\Bigr]=\sum_{i=1}^NV[X_i]+\sum_{i\ne j}\mathrm{Cov}(X_i,X_j)=N\sigma^2+N(N-1)c$$

となり、$c=-\sigma^2/(N-1)$ が得られる。共分散の値は $n$ によらないので、大きさ $n$ の標本でも同じ値である。よって大きさ $n$ の標本について

$$V[\bar X]=\frac1{n^2}\bigl\{n\sigma^2+n(n-1)c\bigr\}=\frac{\sigma^2}n\Bigl(1-\frac{n-1}{N-1}\Bigr)=\frac{\sigma^2}n\cdot\frac{N-n}{N-1}.\quad\square$$

母集団の値が0か1だけで、1の個体が $M$ 個ある場合、$\sum_iX_i$ は第5章 §5.4 の超幾何分布に従う。そのとき $\sigma^2=p(1-p)$（$p=M/N$）で、式 (8.4) に $n^2$ を掛けた $V[\sum X_i]=np(1-p)\frac{N-n}{N-1}$ は第5章で求めた超幾何分布の分散と一致する。$N$ が $n$ に比べて十分大きければ修正は $1$ に近く、戻すか戻さないかの区別は無視することができる。抜き取る割合 $n/N$ がおよそ5%を超えるときは修正をかける。

確認テスト

オリジナル

1. 8.1-1 $X_1,\dots,X_n$ を平均 $\mu$・分散 $\sigma^2$（ともに未知）の母集団からの無作為標本とする。次のうち統計量であるものをすべて選べ。(a) $\bar X$　(b) $\max_iX_i-\min_iX_i$　(c) $\sum_i(X_i-\mu)^2$　(d) $(\bar X-\mu)/(\sigma/\sqrt n)$　(e) $\frac1n\sum_iX_i^2$
2. 8.1-2 8.1-1 と同じ無作為標本（$n\ge3$）について、$T=2X_1-X_2+3X_3$ の期待値と分散を求めよ。また $D=\bar X-X_1$ について、$\mathrm{Cov}(\bar X,X_1)$ を計算してから $V[D]$ を求めよ。
3. 8.1-3 5個の製品のうち3個が合格品（値1）、2個が不合格品（値0）である母集団から、3個を戻さずに取り出す。合格品の割合 $\bar X$ の分散を定理 8.3 で求め、$\binom53=10$ 通りの数え上げでも確かめよ。
4. 8.1-4 無作為標本について、すべての $i$ で $\mathrm{Cov}(\bar X,\ X_i-\bar X)=0$ であることを示せ。