tecktom.com

点推定とは

2026年10月17日12分で読めますAI生成教科書『資格試験』第9章 点推定
目次
  1. 母数・統計量・推定量
  2. 推定量の良さを測る3つの物差し
  3. 確認テスト
  4. 木下の層

AI 生成・木下が未勉強

統計学の復習　第9章 §9.1　★★★ 推定量は標本の関数で、それ自体が確率変数。良さは不偏性・平均二乗誤差・一致性で測る

この章は、対策本の第17章（点推定）に当たる。

第8章までで、母集団から無作為に取り出した標本 X1,…,XnX_1,\dots,X_n が互いに独立で同じ分布に従う確率変数であること、標本平均 Xˉ\bar X の期待値が μ\mu、分散が σ2/n\sigma^2/n になることを見た。この章では向きを逆にして、標本から未知の母数 θ\theta を1つの数で言い当てる点推定を扱う。道具として、推定量と推定値の区別、推定量の良さを測る不偏性・平均二乗誤差・一致性の3つの物差し、標準誤差を定義する。

2級の試験では「不偏分散を計算せよ」「標準誤差を求めよ」「不偏推定量はどれか」が単独の小問として出る。1級の統計数理では、最尤推定量を求めたあとに「不偏か」「一致推定量か」「平均二乗誤差を求めよ」と続く小問が定番になっている。この章ではその問いに答えるための定義と、2級の範囲の道具（期待値の線形性・独立な和の分散・Chebyshev の不等式）だけで示せる結果を導出つきで書く。最尤法・モーメント法・Fisher 情報量・Cramér–Rao の不等式は、数理統計の解説 第6章で扱う。

記号は第2章に揃える。nn で割る標本分散を σ^2\hat\sigma^2、n−1n-1 で割る不偏分散を確率変数のときは S2S^2、実現値のときは s2s^2 と書く。

母数・統計量・推定量

母集団の分布が、値の分からない定数 θ\theta を1つ決めれば定まるとする。例えば正規母集団 N(μ,σ2)\mathrm{N}(\mu,\sigma^2) では μ\mu と σ2\sigma^2、ベルヌーイ母集団（11 を確率 pp、00 を確率 1−p1-p でとる）では pp がこれに当たる。このような定数を母数（パラメータ）と呼ぶ。母数は確率変数ではなく、ただ値が分からないだけの定数である。

定義 9.1（統計量・推定量・推定値）

X1,…,XnX_1,\dots,X_n を母集団からの無作為標本（独立で同じ分布に従う確率変数）とする。

  1. 標本の関数 T=T(X1,…,Xn)T=T(X_1,\dots,X_n) で、未知の母数を含まないものを統計量と呼ぶ。
  2. 母数 θ\theta を言い当てるために使う統計量を θ\theta の推定量と呼び、θ^\hat\theta と書く。
  3. 観測した値 x1,…,xnx_1,\dots,x_n を推定量に代入して得られる数 T(x1,…,xn)T(x_1,\dots,x_n) を推定値と呼ぶ。

統計量の条件「未知の母数を含まない」は、データが手に入れば値が計算できることを意味する。μ\mu が未知のとき、∑(Xi−μ)2\sum(X_i-\mu)^2 は μ\mu を含むので統計量ではない。

推定量は確率変数なので、期待値や分散や分布をもつ。推定値は1つの数なので、それらをもたない。推定量の良し悪しは、推定値1つではなく、推定量の分布で論じることになる。

推定量と推定値を取り違えない

「xˉ=52.3\bar x=52.3 は μ\mu の不偏推定値である」という言い方は、厳密には意味をもたない。52.352.3 は定数なので期待値は 52.352.3 そのもので、μ\mu に等しいかどうかは分からない。不偏であるのは、標本を取り直すたびに値の変わる確率変数 Xˉ\bar X の方である。記号でも、推定量は大文字 Xˉ,S2\bar X,S^2、推定値は小文字 xˉ,s2\bar x,s^2 と書き分ける。

推定量の良さを測る3つの物差し

推定量 θ^\hat\theta は確率変数なので、ある標本では θ\theta より大きく、別の標本では小さくなる。そこで「平均として θ\theta の周りにあるか」「θ\theta からのずれの2乗は平均してどれほどか」「標本を増やせば θ\theta に近づくか」の3つを定義する。

定義 9.2（不偏推定量・偏り・平均二乗誤差）

  1. すべての θ\theta について E[θ^]=θE[\hat\theta]=\theta が成り立つ推定量を、θ\theta の不偏推定量と呼ぶ。
  2. b(θ)=E[θ^]−θb(\theta)=E[\hat\theta]-\theta を θ^\hat\theta の偏り（バイアス）と呼ぶ。
  3. MSE(θ^)=E[(θ^−θ)2]\mathrm{MSE}(\hat\theta)=E\bigl[(\hat\theta-\theta)^2\bigr] を θ^\hat\theta の平均二乗誤差と呼ぶ。

不偏性の定義にある「すべての θ\theta について」は省けない条件である。例えば θ^≡5\hat\theta\equiv5（データを見ずに常に 55 と答える推定量）は、真の値がたまたま 55 のときだけ E[θ^]=θE[\hat\theta]=\theta を満たすが、不偏推定量ではない。期待値は θ\theta の値ごとに変わる分布で計算するので、E[θ^]E[\hat\theta] は θ\theta の関数であり、その関数が恒等的に θ\theta に一致することを求めている。

命題 9.3（平均二乗誤差の分解）

MSE(θ^)=V[θ^]+b(θ)2.(9.1)\mathrm{MSE}(\hat\theta)=V[\hat\theta]+b(\theta)^2.\tag{9.1}

特に不偏推定量では MSE(θ^)=V[θ^]\mathrm{MSE}(\hat\theta)=V[\hat\theta] である。

証明

m=E[θ^]m=E[\hat\theta] とおくと θ^−θ=(θ^−m)+(m−θ)\hat\theta-\theta=(\hat\theta-m)+(m-\theta) で、m−θ=b(θ)m-\theta=b(\theta) は定数である。2乗して期待値をとると

E[(θ^−θ)2]=E[(θ^−m)2]+2b(θ)E[θ^−m]+b(θ)2.E[(\hat\theta-\theta)^2]=E[(\hat\theta-m)^2]+2b(\theta)E[\hat\theta-m]+b(\theta)^2.

E[θ^−m]=m−m=0E[\hat\theta-m]=m-m=0 なので中央の項は消え、第1項は V[θ^]V[\hat\theta] である。

これは第4章の定理「E[(X−c)2]=V[X]+(μ−c)2E[(X-c)^2]=V[X]+(\mu-c)^2」で X=θ^X=\hat\theta、c=θc=\theta とおいたものと同じ式である。平均二乗誤差は「ばらつき」と「中心のずれの2乗」の和に分かれる。偏りが 00 でも分散が大きければ平均二乗誤差は大きく、偏りを少し許して分散を大きく減らせば平均二乗誤差は小さくなりうる。

同じ母数の不偏推定量が2つあるとき、分散の小さい方をより有効であるという。不偏推定量の分散がどこまで小さくなりうるかの下限（Cramér–Rao の不等式）は、数理統計の解説 第6章 §6.3 で扱う。

定義 9.4（一致推定量）

標本の大きさ nn ごとに推定量 θ^n\hat\theta_n が定まっているとする。任意の ε>0\varepsilon>0 と、すべての θ\theta について

lim⁡n→∞P(∣θ^n−θ∣≥ε)=0\lim_{n\to\infty}P\bigl(\lvert \hat\theta_n-\theta\rvert \ge\varepsilon\bigr)=0

が成り立つとき、θ^n\hat\theta_n を θ\theta の一致推定量と呼ぶ。

一致性は「標本を増やせば、θ\theta から ε\varepsilon 以上ずれる確率がいくらでも小さくなる」ことを表す。不偏性は1つの nn についての性質で、一致性は n→∞n\to\infty での性質なので、どちらか一方だけをもつ推定量がある（確認テスト 9.1-2・9.1-3）。

命題 9.5（平均二乗誤差による一致性の十分条件）

n→∞n\to\infty で MSE(θ^n)→0\mathrm{MSE}(\hat\theta_n)\to0 ならば、θ^n\hat\theta_n は θ\theta の一致推定量である。(9.1) により、条件は「偏り →0\to0 かつ分散 →0\to0」と同じである。

証明

第4章の Chebyshev の不等式の証明で、期待値 μ\mu を任意の定数 cc に取り替えても同じ議論が通り、P(∣Y−c∣≥ε)≤E[(Y−c)2]/ε2P(\lvert Y-c\rvert \ge\varepsilon)\le E[(Y-c)^2]/\varepsilon^2 が成り立つ。実際、連続型なら ∣y−c∣≥ε\lvert y-c\rvert \ge\varepsilon の範囲で (y−c)2≥ε2(y-c)^2\ge\varepsilon^2 なので

E[(Y−c)2] ≥ ∫∣y−c∣≥ε(y−c)2f(y) dy ≥ ε2P(∣Y−c∣≥ε)E[(Y-c)^2]\ \ge\ \int_{\lvert y-c\rvert \ge\varepsilon}(y-c)^2f(y)\,\mathrm{d} y\ \ge\ \varepsilon^2P(\lvert Y-c\rvert \ge\varepsilon)

である（離散型は積分を和に変える）。Y=θ^nY=\hat\theta_n、c=θc=\theta とおくとP(∣θ^n−θ∣≥ε)≤MSE(θ^n)/ε2→0P(\lvert \hat\theta_n-\theta\rvert \ge\varepsilon)\le\mathrm{MSE}(\hat\theta_n)/\varepsilon^2\to0。

例題 9.1　母比率の2つの推定量の平均二乗誤差 ★★★

オリジナル成功の確率が pp のベルヌーイ試行を独立に nn 回行い、成功の回数を XX とする（X∼Bin(n,p)X\sim\mathrm{Bin}(n,p)）。pp の推定量として

p^=Xn,p~=X+1n+2\hat p=\frac{X}{n},\qquad \tilde p=\frac{X+1}{n+2}

を比べる。

  1. p^\hat p と p~\tilde p の偏りと分散を求めよ。
  2. 平均二乗誤差 MSE(p^)\mathrm{MSE}(\hat p) と MSE(p~)\mathrm{MSE}(\tilde p) を求め、n=10n=10、p=0.5p=0.5 と p=0.05p=0.05 のときの値を比べよ。
  3. n=10n=10 のとき、MSE(p~)<MSE(p^)\mathrm{MSE}(\tilde p)<\mathrm{MSE}(\hat p) となる pp の範囲を求めよ。
  4. 2つの推定量はどちらも一致推定量であることを示せ。
解答

(1) 第5章の結果 E[X]=npE[X]=np、V[X]=np(1−p)V[X]=np(1-p) を使う。p^\hat p は

E[p^]=npn=p,V[p^]=np(1−p)n2=p(1−p)nE[\hat p]=\frac{np}{n}=p,\qquad V[\hat p]=\frac{np(1-p)}{n^2}=\frac{p(1-p)}{n}

で、偏りは 00 である。p~\tilde p は

E[p~]=np+1n+2,b(p)=np+1n+2−p=1−2pn+2,V[p~]=np(1−p)(n+2)2E[\tilde p]=\frac{np+1}{n+2},\qquad b(p)=\frac{np+1}{n+2}-p=\frac{1-2p}{n+2},\qquad V[\tilde p]=\frac{np(1-p)}{(n+2)^2}

である。p~\tilde p は p=1/2p=1/2 のときだけ偏りが 00 で、それ以外の pp では 1/21/2 の側へ偏る。分散は p^\hat p の n2/(n+2)2n^2/(n+2)^2 倍で、p^\hat p より小さい。

(2) (9.1) から

MSE(p^)=p(1−p)n,MSE(p~)=np(1−p)+(1−2p)2(n+2)2.\mathrm{MSE}(\hat p)=\frac{p(1-p)}{n},\qquad \mathrm{MSE}(\tilde p)=\frac{np(1-p)+(1-2p)^2}{(n+2)^2}.

n=10n=10、p=0.5p=0.5 では MSE(p^)=0.25/10=0.025\mathrm{MSE}(\hat p)=0.25/10=0.025、MSE(p~)=2.5/144≈0.0174\mathrm{MSE}(\tilde p)=2.5/144\approx0.0174 で、p~\tilde p の方が小さい。p=0.05p=0.05 では MSE(p^)=0.0475/10=0.00475\mathrm{MSE}(\hat p)=0.0475/10=0.00475、MSE(p~)=(0.475+0.81)/144≈0.00892\mathrm{MSE}(\tilde p)=(0.475+0.81)/144\approx0.00892 で、p^\hat p の方が小さい。

(3) q=p(1−p)q=p(1-p) とおくと (1−2p)2=1−4q(1-2p)^2=1-4q である。MSE(p~)<MSE(p^)\mathrm{MSE}(\tilde p)<\mathrm{MSE}(\hat p) は

n{nq+(1−4q)}<(n+2)2q  ⟺  n<{(n+2)2−n2+4n}q=(8n+4)qn\{nq+(1-4q)\}<(n+2)^2q\iff n<\{(n+2)^2-n^2+4n\}q=(8n+4)q

と同値なので、条件は p(1−p)>n/(8n+4)p(1-p)>n/(8n+4) である。n=10n=10 では p(1−p)>10/84≈0.1190p(1-p)>10/84\approx0.1190 となる。p2−p+0.1190<0p^2-p+0.1190<0 を解いて 0.138<p<0.8620.138<p<0.862（小数第3位まで）。図 9.1 の2本の曲線の交点がこの両端である。

(4) n→∞n\to\infty で MSE(p^)=p(1−p)/n→0\mathrm{MSE}(\hat p)=p(1-p)/n\to0。MSE(p~)\mathrm{MSE}(\tilde p) は分子が nn の1次式、分母が nn の2次式なので 00 に近づく。命題 9.5 によりどちらも一致推定量である。

図

図 9.1　n=10n=10 のときの母比率の推定量の平均二乗誤差。赤の実線が不偏な p^\hat p、緑の破線が偏りのある p~\tilde p。0.138<p<0.8620.138<p<0.862 では p~\tilde p の方が小さく、pp が 00 や 11 に近いと p^\hat p の方が小さい。どの pp でも一方が他方より小さい、という関係にはならない。

例題 9.1 は、平均二乗誤差で比べると、すべての pp で優れた推定量が決まらないことを示している。2級の範囲では「不偏な推定量の中で分散の小さいものを選ぶ」という考え方を採ることが多く、その代表が次の節の Xˉ\bar X である。

確認テスト

オリジナル

  1. 9.1-1 X1,…,XnX_1,\dots,X_n を N(μ,σ2)\mathrm{N}(\mu,\sigma^2) からの無作為標本とし、μ\mu と σ2\sigma^2 はともに未知とする。次のうち統計量であるものをすべて選べ。(a) Xˉ\bar X　(b) Xˉ−μ\bar X-\mu　(c) max⁡iXi\max_iX_i　(d) 1n∑(Xi−μ)2\frac1n\sum(X_i-\mu)^2　(e) ∑Xi2\sum X_i^2
  2. 9.1-2 X1,…,XnX_1,\dots,X_n を N(μ,σ2)\mathrm{N}(\mu,\sigma^2) からの無作為標本とする。最初の観測 X1X_1 だけを μ\mu の推定量に使うとき、X1X_1 は μ\mu の不偏推定量であるが、一致推定量でないことを示せ。
  3. 9.1-3 E[Xˉ]=μE[\bar X]=\mu、V[Xˉ]=σ2/nV[\bar X]=\sigma^2/n とする。Tn=Xˉ+1nT_n=\bar X+\dfrac1n の偏りと平均二乗誤差を求め、TnT_n が不偏ではないが一致推定量であることを示せ。
  4. 9.1-4 θ\theta の推定量 θ^\hat\theta の偏りが bb、分散が vv である。θ^\hat\theta の平均二乗誤差を b,vb,v で表せ。また E[θ^2]E[\hat\theta^2] を θ,b,v\theta,b,v で表し、θ^\hat\theta が不偏でも θ^2\hat\theta^2 は θ2\theta^2 の不偏推定量にならない（v>0v>0 のとき）ことを示せ。

木下の勉強ステータス

木下はまだこの記事を勉強していません。

AI（Claude）が書いた教材を、木下が勉強しながら公開しています。式と数値は検算していますが、誤りが残っているかもしれません。誤りのご指摘・削除のご依頼をいただければ直します。 連絡先：support@tecktom.com

目次

この記事が含まれている連載

連載AI生成教科書『資格試験』資格試験に向けて、AI（Claude）が出題範囲に沿って書いた教材を、木下が勉強しながら公開しています。257本の記事・木下 智貴
← AI生成教科書『資格試験』の記事一覧へ