統計量と標本分布

数理統計　第5章 §5.1　★★ 無作為標本・統計量の定義と、平均・分散・積率母関数による標本分布の計算

推定量や検定統計量は、データ $X_1,\dots,X_n$ の関数である。データが確率変数なので、その関数もまた確率変数になり、分布を持つ。この分布を標本分布と呼ぶ。第6章以降の推定・検定・区間推定は、すべて「この統計量はどういう分布に従うか」が分かって初めて数値の判断ができるので、この章は後の章すべての前提になる。

この章で作る道具は次の3種類である。

1. 正規母集団での厳密な分布。標本平均 $\bar X$ と不偏分散 $S^2$ を扱う。2つが独立であることと、$(n-1)S^2/\sigma^2$ が $\chi^2_{n-1}$ に従うことを示す。そこから $t$ 分布と $F$ 分布が出てくることを、密度の形まで自分の手で導く。
2. 厳密な分布が求まらないときの近似。大数の法則・中心極限定理・Slutsky の定理・デルタ法を使い、$n\to\infty$ での分布を求める。
3. 順序統計量（最小値・最大値・中央値など）の分布。厳密な密度と、適当に拡大したときの極限分布を求める。

資格試験の数理の科目では、2025年に「台の端が未知母数で決まる分布の最小値について、厳密分布を求め、$n$ 倍して極限分布を求め、そこから信頼区間を作る」問題（統計数理 問2 の題材）と、「単回帰の推定量から $\chi^2$ と正規を組み合わせて標本相関係数の密度を出す」問題（統計数理 問3 の題材）が出た。前者は §5.4、後者は §5.2 の手続きを使う。

この章で使う分布の記号は次のとおりとする（$\beta$ は尺度）。

$$\mathrm{Ex}(\lambda):\ \lambda\mathrm{e}^{-\lambda x}\ (x>0),\qquad \mathrm{Ga}(\alpha,\beta):\ \frac{x^{\alpha-1}\mathrm{e}^{-x/\beta}}{\Gamma(\alpha)\beta^\alpha}\ (x>0).$$

第3章で定めた分布の性質のうち、ここで使うものは次の3つである。

$$E[X]=\alpha\beta,\quad V[X]=\alpha\beta^2,\quad M_X(t)=E[\mathrm{e}^{tX}]=(1-\beta t)^{-\alpha}\ (t<1/\beta)\qquad(X\sim\mathrm{Ga}(\alpha,\beta)),\tag{5.1}$$

また $\mathrm{Ex}(\lambda)=\mathrm{Ga}(1,1/\lambda)$ である。積率母関数 $M_X(t)$ が0の近くで存在して一致すれば分布が一致する、という第2章の一意性定理も繰り返し使う。

無作為標本と統計量

統計量の定義で「未知の母数を含まない」と断る理由は、データを観測したあとで $T$ の値が計算できなければ推定にも検定にも使えないからである。たとえば母平均 $\mu$ が未知のとき、$\bar X-\mu$ は統計量ではない。一方 $\bar X-\mu$ の分布が $\mu$ によらない、というような性質は信頼区間を作るときに使い（第8章）、そうした量はピボットと呼ばれる。

代表的な統計量は、標本平均と不偏分散

$$\bar X=\frac1n\sum_{i=1}^n X_i,\qquad S^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar X)^2\tag{5.2}$$

である。

標本平均と不偏分散の期待値

証明

期待値の線形性から $E[\bar X]=\frac1n\sum E[X_i]=\mu$。独立性から共分散が消えるので$V[\bar X]=\frac{1}{n^2}\sum V[X_i]=\sigma^2/n$。

不偏分散については、まず展開して

$$\sum_{i=1}^n(X_i-\bar X)^2=\sum_{i=1}^n X_i^2-2\bar X\sum_{i=1}^n X_i+n\bar X^2=\sum_{i=1}^n X_i^2-n\bar X^2\tag{5.3}$$

を得る。$E[X_i^2]=V[X_i]+(E[X_i])^2=\sigma^2+\mu^2$、$E[\bar X^2]=V[\bar X]+(E[\bar X])^2=\sigma^2/n+\mu^2$ を代入すると

$$E\Bigl[\sum(X_i-\bar X)^2\Bigr]=n(\sigma^2+\mu^2)-n\Bigl(\frac{\sigma^2}{n}+\mu^2\Bigr)=(n-1)\sigma^2 .$$

両辺を $n-1$ で割れば $E[S^2]=\sigma^2$。

$n$ でなく $n-1$ で割る理由は、この計算に表れている。$\bar X$ はデータに最も近くなるように選ばれた中心である。そのため $\sum(X_i-\bar X)^2$ は、真の $\mu$ のまわりの平方和より小さくなる。小さくなる量の期待値がちょうど $\sigma^2$ の1個分であり、これを $n-1$ で割ることで補う。

積率母関数による和の分布

独立な確率変数の和の分布は、積率母関数を使うと掛け算で求まる。$X_1,\dots,X_n$ が独立なら

$$M_{X_1+\cdots+X_n}(t)=E\bigl[\mathrm{e}^{tX_1}\cdots\mathrm{e}^{tX_n}\bigr]=\prod_{i=1}^n M_{X_i}(t)\tag{5.4}$$

で、同じ分布なら $M_X(t)^n$ になる。右辺が既知の分布の積率母関数の形をしていれば、一意性定理によって和の分布が決まる。こうして示せる「同じ族の独立な和がまた同じ族に入る」性質を再生性と呼ぶ。代表的なものを並べる（いずれも積率母関数を掛けるだけで確かめられる）。

• 二項分布（$M(t)=(1-p+p\mathrm{e}^t)^m$）：

$$\mathrm{Bin}(m,p)+\mathrm{Bin}(n,p)=\mathrm{Bin}(m+n,p).$$

• ポアソン分布（$M(t)=\exp\{\lambda(\mathrm{e}^t-1)\}$）：

$$\mathrm{Po}(\lambda_1)+\mathrm{Po}(\lambda_2)=\mathrm{Po}(\lambda_1+\lambda_2).$$

• 正規分布（$M(t)=\exp(\mu t+\sigma^2t^2/2)$）：

$$\mathrm{N}(\mu_1,\sigma_1^2)+\mathrm{N}(\mu_2,\sigma_2^2)=\mathrm{N}(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2).$$

• 尺度が同じガンマ分布：

$$\mathrm{Ga}(\alpha_1,\beta)+\mathrm{Ga}(\alpha_2,\beta)=\mathrm{Ga}(\alpha_1+\alpha_2,\beta).$$

ここで「$+$」は独立な確率変数の和の分布を表す。正規分布については、さらに定数倍も正規分布になるので、$\bar X\sim\mathrm{N}(\mu,\sigma^2/n)$ が直ちに従う。

確認テスト

オリジナル

1. 5.1-1 $X_1,\dots,X_n$ を $\mathrm{N}(\mu,\sigma^2)$ からの無作為標本とする。$\mu$ は未知、$\sigma^2$ は既知とする。(a) $\sum(X_i-\bar X)^2/\sigma^2$、(b) $\sqrt n(\bar X-\mu)/\sigma$ のそれぞれが統計量かどうかを答えよ。
2. 5.1-2 $X_1,\dots,X_4$ を $\mathrm{Po}(0.5)$ からの無作為標本とする。$P(\bar X\le 1/4)$ を求めよ。
3. 5.1-3 分散 $\sigma^2<\infty$ の分布からの無作為標本を考える。各 $i$ について $\mathrm{Cov}(\bar X,\,X_i-\bar X)=0$ を示せ。
4. 5.1-4 $X_1,\dots,X_n$ を一様分布 $\mathrm{U}(0,\theta)$ からの無作為標本とする。$2\bar X$ が $\theta$ の不偏推定量であることを示し、その分散を求めよ。
5. 5.1-5 $X_1,\dots,X_n$ を成功確率 $p$ のベルヌーイ分布からの無作為標本とする。$E[\bar X(1-\bar X)]$ を求め、$p(1-p)$ の不偏推定量を1つ作れ。