母平均の点推定と推定量・推定値

統計学の復習　第9章 §9.2　★★★ $\bar X$ は $\mu$ の不偏推定量で分散 $\sigma^2/n$。重みの和が $1$ の線形な推定量の中で分散が最小

標本平均の期待値と分散

母集団の平均を $\mu$、分散を $\sigma^2$ とし、$X_1,\dots,X_n$ を無作為標本とする。$\mu$ の推定量として最も自然なのは標本平均 $\bar X=\frac1n\sum_{i=1}^nX_i$ である。期待値の線形性と、独立な確率変数の和の分散が分散の和になること（第7章）から、次が成り立つ。

$$E[\bar X]=\frac1n\sum_{i=1}^nE[X_i]=\frac{n\mu}{n}=\mu,\qquad V[\bar X]=\frac1{n^2}\sum_{i=1}^nV[X_i]=\frac{n\sigma^2}{n^2}=\frac{\sigma^2}{n}.\tag{9.2}$$

1つ目の式は独立性を使わず、2つ目の式は独立性（正確には $X_i$ どうしの共分散が $0$ であること）を使っている。したがって $\bar X$ は $\mu$ の不偏推定量で、平均二乗誤差は $V[\bar X]=\sigma^2/n$ である。これは $n\to\infty$ で $0$ に近づくので、命題 9.5 により $\bar X$ は $\mu$ の一致推定量でもある。この一致性は、第8章の大数の弱法則そのものである。

母集団がベルヌーイ分布（$X_i$ は $1$ か $0$）なら $\mu=p$、$\sigma^2=p(1-p)$ で、$\bar X$ は成功の割合 $\hat p=X/n$ に一致する。(9.2) から $E[\hat p]=p$、$V[\hat p]=p(1-p)/n$ が得られる。これは例題 9.1 の (1) を、二項分布の公式を使わずに出し直したものである。

重みの和が1の線形な推定量の中での最良性

$\bar X$ 以外にも $\mu$ の不偏推定量はいくらでもある。$X_1$ だけでもよいし、$(X_1+X_2)/2$ でもよい。一般に定数 $c_1,\dots,c_n$ を使った $T=\sum c_iX_i$ を考えると、$E[T]=\mu\sum c_i$ なので、$T$ が $\mu$ の不偏推定量であることは $\sum c_i=1$ と同値である。

この命題は、平均と分散だけを使い、母集団の分布の形を何も仮定していない。ただし比べている相手は「重みの和が $1$ の線形な推定量」に限られる。中央値のように線形でない推定量まで含めた比較は、母集団の分布の形によって答えが変わる。

確認テスト

オリジナル

1. 9.2-1 次の各文が正しいか誤りかを答え、誤りなら理由を述べよ。(a) 標本平均 $\bar X$ は確率変数である。(b) ある標本で計算した $\bar x=52.3$ の分散は $\sigma^2/n$ である。(c) $E[\bar X]=\mu$ を示すには $X_1,\dots,X_n$ の独立性が要る。
2. 9.2-2 $n=3$ のとき、$T=\dfrac{X_1+2X_2+3X_3}{6}$ が $\mu$ の不偏推定量であることを示し、$V[T]$ を $V[\bar X]$ と比べよ。
3. 9.2-3 $X_1,\dots,X_n$ をポアソン分布 $\mathrm{Po}(\lambda)$ からの無作為標本とする。(a) $\bar X$ が $\lambda$ の不偏推定量であることを示し、その分散を求めよ。(b) $0$ を観測した個数を $N_0$ とする。$N_0/n$ が $P(X=0)=e^{-\lambda}$ の不偏推定量であることを示し、その分散を求めよ。
4. 9.2-4 $T_1,T_2$ はどちらも $\mu$ の不偏推定量で互いに独立、分散はそれぞれ $v_1,v_2$（ともに正）とする。$T=cT_1+(1-c)T_2$ の分散を最小にする $c$ を求め、最小値が $\dfrac{v_1v_2}{v_1+v_2}$ になり、$v_1$ と $v_2$ のどちらよりも小さいことを示せ。