標本分散と不偏分散

統計学の復習　第9章 §9.3　★★★ $E\bigl[\sum(X_i-\bar X)^2\bigr]=(n-1)\sigma^2$。$\mu$ の代わりに $\bar X$ を使うと、ちょうど $\sigma^2$ の1個ぶんが失われる

2つの分散の推定量

母分散 $\sigma^2$ を推定したい。$\mu$ が分かっていれば、$(X_i-\mu)^2$ の期待値が $\sigma^2$ なので、その平均

$$\hat\sigma^2_\mu=\frac1n\sum_{i=1}^n(X_i-\mu)^2,\qquad E[\hat\sigma^2_\mu]=\frac1n\cdot n\sigma^2=\sigma^2\tag{9.3}$$

は $\sigma^2$ の不偏推定量である。ただし $\mu$ が未知なら $\hat\sigma^2_\mu$ は統計量ではないので、$\mu$ を $\bar X$ で置き換えた量を考える。

第2章ではデータの記述として同じ2つの量を定義した。ここでは $X_i$ が確率変数なので、$W$、$\hat\sigma^2$、$S^2$ も確率変数である。「標本分散」という語が $n-1$ で割る量を指す本もあるので、問題文では割る数を確かめる必要がある。

偏差平方和の分解と期待値

証明

$X_i-\mu=(X_i-\bar X)+(\bar X-\mu)$ と分けて2乗し、$i$ について足すと

$$\sum(X_i-\mu)^2=\sum(X_i-\bar X)^2+2(\bar X-\mu)\sum(X_i-\bar X)+n(\bar X-\mu)^2.$$

$\bar X$ の定義から $\sum(X_i-\bar X)=\sum X_i-n\bar X=0$ なので、中央の交差項は消える。

これは第2章の平行移動の公式 $\sum(x_i-c)^2=S_{xx}+n(\bar x-c)^2$ で $c=\mu$ とおいたものと同じである。右辺の2つの項はどちらも $0$ 以上なので、$\sum(X_i-\bar X)^2\le\sum(X_i-\mu)^2$ が常に成り立つ。偏差を $\bar X$ から測ると、真の平均 $\mu$ から測るより平方和が小さくなる。

証明

(9.4) の両辺の期待値をとる。左辺は $\sum E[(X_i-\mu)^2]=n\sigma^2$ である。右辺の第2項は $nE[(\bar X-\mu)^2]=nV[\bar X]=n\cdot\sigma^2/n=\sigma^2$ である（$E[\bar X]=\mu$ を使った）。よって

$$E\Bigl[\sum(X_i-\bar X)^2\Bigr]=n\sigma^2-\sigma^2=(n-1)\sigma^2.$$

これを $n-1$ で割れば $E[S^2]=\sigma^2$、$n$ で割れば $E[\hat\sigma^2]=(n-1)\sigma^2/n$ である。

証明では正規分布であることを使っていない。平均と分散をもつ母集団からの無作為標本なら、どの分布でも $E[S^2]=\sigma^2$ が成り立つ。

なぜ $n-2$ でも $n-3$ でもなく $n-1$ か

$n-1$ という数が何から決まるかを、証明の中で特定しておく。(9.4) の右辺第2項 $n(\bar X-\mu)^2$ は、$\mu$ の代わりに $\bar X$ を使ったために平方和から失われた量である。その期待値は $n\cdot V[\bar X]=n\cdot\sigma^2/n=\sigma^2$ で、$n$ がいくつでもちょうど $\sigma^2$ の1個ぶんになる。$n$ 倍の $n$ と $V[\bar X]$ の分母の $n$ が打ち消し合うので、失われる量の期待値には $n$ が残らない。

したがって平方和の期待値は $n\sigma^2$ から $\sigma^2$ を1つ引いた $(n-1)\sigma^2$ になり、$n-1$ で割ったときに限り期待値が $\sigma^2$ に一致する。

別の見方として、偏差を並べたベクトル $\bm{e}=(X_1-\bar X,\dots,X_n-\bar X)$ は、恒等的に $\sum(X_i-\bar X)=0$ という1本の1次の拘束を満たす。$n$ 個の成分のうち $n-1$ 個を決めれば残りの1個は決まるので、$\bm e$ が自由に動ける方向は $n-1$ 個しかない。

この「自由に動ける方向の数」を偏差平方和の自由度と呼ぶ。図 9.2 は $n=2$ の場合で、観測ベクトル $\bm X$ は $(1,1)$ 方向の成分 $\bar X(1,1)$ と、それに直交する偏差 $\bm e$ に分かれる。$\bm e$ は $(1,1)$ に直交する1本の直線（1次元）の上にしかない。

この「自由度＝データの個数－同じデータから推定した母数の個数」という数え方は、以後の章でも同じ形で現れる。単回帰の残差は切片と傾きの2つを推定するので自由度が $n-2$（第14章）、$k$ 群の一元配置分散分析の群内の平方和は $k$ 個の群平均を推定するので自由度が $N-k$（第15章）になる。正規母集団では $W/\sigma^2$ が自由度 $n-1$ のカイ二乗分布に従う。この事実は第11章で使い、その証明は数理統計の解説 第5章 §5.2 で扱う。

2点の差による表し方

第2章で示したデータの恒等式 $S_{xx}=\frac1n\sum_{i<j}(x_i-x_j)^2$ を使うと、不偏性をもう1つの方法で確かめることができる。この恒等式から、不偏分散は

$$S^2=\frac{W}{n-1}=\frac{1}{n(n-1)}\sum_{i<j}(X_i-X_j)^2=\binom n2^{-1}\sum_{i<j}\frac{(X_i-X_j)^2}{2}\tag{9.6}$$

と書ける。$S^2$ は、$\binom n2$ 組あるすべての2点の組について $(X_i-X_j)^2/2$ を平均したものである。

$i\ne j$ なら $X_i-X_j$ の期待値は $0$、分散は $V[X_i]+V[X_j]=2\sigma^2$ なので、$E[(X_i-X_j)^2]=2\sigma^2$ である。各項の期待値が $\sigma^2$ なので、その平均である $S^2$ の期待値も $\sigma^2$ になる。この表し方には $\mu$ がまったく現れないので、未知の $\mu$ を推定する必要がない。

一致性と有限母集団

$S^2$ の分散は母集団の4次の積率に依存するので、一般の形は2級の範囲では扱わない。正規母集団なら $V[S^2]=2\sigma^4/(n-1)$（第11章）で、$n\to\infty$ で $0$ に近づく。$S^2$ は不偏なので、命題 9.5 により $\sigma^2$ の一致推定量である。

$\hat\sigma^2=\frac{n-1}{n}S^2$ も、偏り $-\sigma^2/n$ と分散がともに $0$ に近づくので一致推定量である。$\hat\sigma^2$ は「一致するが不偏でない」推定量の例になっている。平均二乗誤差では $\hat\sigma^2$ の方が $S^2$ より小さいことを、第2章の総合問題で計算した。

確認テスト

オリジナル

1. 9.3-1 同じデータから計算した $s^2$ と $\hat\sigma^2$ について、$s^2-\hat\sigma^2=\dfrac{\hat\sigma^2}{n-1}$ を示せ。また $s^2\ge\hat\sigma^2$ で、等号が成り立つのはどのようなデータのときか答えよ。
2. 9.3-2 $n=10$ のデータで $\sum x_i=50$、$\sum x_i^2=290$ であった。$\bar x$、偏差平方和、$\hat\sigma^2$、$s^2$ を求めよ。
3. 9.3-3 $(X_1,Y_1),\dots,(X_n,Y_n)$ は互いに独立な組で、どの組も $\mathrm{Cov}(X_i,Y_i)=\gamma$ をもつとする（$i\ne j$ なら $X_i$ と $Y_j$ は独立）。$E\bigl[\sum(X_i-\bar X)(Y_i-\bar Y)\bigr]=(n-1)\gamma$ を示せ。ヒント：$\sum(X_i-\bar X)(Y_i-\bar Y)=\sum(X_i-\mu_X)(Y_i-\mu_Y)-n(\bar X-\mu_X)(\bar Y-\mu_Y)$。
4. 9.3-4 $E[\bar X^2]=\mu^2+\sigma^2/n$ を示し、$\bar X^2$ が $\mu^2$ の不偏推定量でないことを確かめよ。さらに $\bar X^2-S^2/n$ が $\mu^2$ の不偏推定量であることを示せ。