最良不偏推定

数理統計　第10章 §10.2　★★★ 完備十分統計量の関数になっている不偏推定量が UMVUE（Lehmann–Scheffé）。作り方は「直接解く」と「条件付ける（Rao–Blackwell）」の2通り

一様最小分散不偏推定量

推定量を不偏なものに限ると、命題 10.2 の偏りの項が消え、2乗損失のリスクは分散そのものになる。不偏推定量の中では、すべての $\theta$ で分散が最小になるものが存在することが多い。

第6章で Cramér–Rao の不等式を導いた。正則な族で $g(\theta)$ の不偏推定量 $\delta$ について

$$V_\theta[\delta]\ge\frac{g'(\theta)^2}{nI(\theta)}\tag{10.3}$$

が成り立つ（虎の巻『相対エントロピーから情報と物理を組み立てる』第1部第7章でも扱う）。分散がこの下界に一致する不偏推定量があれば、それが UMVUE である。しかし等号は、分布が指数型分布族で、推定したい量が十分統計量の平均になっているときに限って成り立つ。

たとえば Poisson 分布の $\mathrm e^{-\lambda}$ のような量では、下界に達する不偏推定量が存在しない。そのような場合にも UMVUE を見つける方法が、この節の十分統計量と完備性による方法である。

十分統計量と Rao–Blackwell の定理

第6章の定義を書いておく。統計量 $T=T(\bm X)$ が与えられたときの $\bm X$ の条件付き分布が、母数によらないとする。このとき $T$ を十分統計量と呼ぶ。同時確率（密度）関数が

$$f(\bm x\mid\theta)=g_\theta\bigl(T(\bm x)\bigr)\,h(\bm x)\tag{10.4}$$

と分解できることが、$T$ が十分であるための必要十分条件である（分解定理）。

証明

(1) $T=t$ が与えられたときの条件付き分布は、十分性によって $\theta$ を含まない。$\eta(t)$ はこの分布での $\delta(\bm X)$ の期待値なので、母数を含まない。

(2) 繰り返し期待値の法則から $E_\theta[\eta(T)]=E_\theta\bigl[E[\delta\mid T]\bigr]=E_\theta[\delta]=g(\theta)$。

(3) 条件付き分散の分解

$$V_\theta[\delta]=E_\theta\bigl[V[\delta\mid T]\bigr]+V_\theta\bigl[E[\delta\mid T]\bigr]=E_\theta\bigl[V[\delta\mid T]\bigr]+V_\theta[\eta(T)]$$

を使う。第1項は非負なので $V_\theta[\eta(T)]\le V_\theta[\delta]$。等号は $E_\theta[V[\delta\mid T]]=E_\theta[(\delta-\eta(T))^2]=0$、すなわち $\delta=\eta(T)$ が確率1で成り立つときに限る。

(1) で十分性が使われていることに注意する。十分でない統計量で条件付けると、$E[\delta\mid T]$ が $\theta$ を含んでしまい推定量にならない。2乗損失以外でも、損失が $d$ について凸なら Jensen の不等式 $E[\mathcal L(\theta,\delta)\mid T]\ge\mathcal L(\theta,E[\delta\mid T])$ から同じ結論（十分統計量で条件付けるとリスクが下がる）が得られる。

完備性と Lehmann–Scheffé の定理

Rao–Blackwell の定理によれば、UMVUE を探すときは十分統計量 $T$ の関数だけを見ればよい。$T$ の関数で不偏なものがただ1つしか無ければ、それが答えになる。その「ただ1つ」を保証する条件が完備性である。

証明

$\delta$ を $g(\theta)$ の任意の不偏推定量とする。定理 10.5 より、$\eta_1(T)=E[\delta\mid T]$ は不偏で、分散は $\delta$ 以下である。$\phi(T)=\eta(T)-\eta_1(T)$ とおく。どちらも不偏なので、すべての $\theta$ で $E_\theta[\phi(T)]=0$ である。完備性から $\eta(T)=\eta_1(T)$（確率1）となり、

$$V_\theta[\eta(T)]=V_\theta[\eta_1(T)]\le V_\theta[\delta]$$

が任意の $\delta$ について成り立つ。

一意性を示す。別の UMVUE $\delta'$ に上の議論を当てはめると、$V_\theta[\delta']=V_\theta[\eta(T)]$ となる。定理 10.5 (3) の等号条件から $\delta'=E[\delta'\mid T]$ である。さらに完備性から $E[\delta'\mid T]=\eta(T)$ となる。

完備性の判定は、多くの場合 $E_\theta[\phi(T)]$ を $\theta$ の関数として書き下し、それが恒等的に 0 になる条件を調べて行う。

一般に、$k$ 母数の指数型分布族

$$f(x\mid\bm\theta)=h(x)\exp\Bigl\{\sum_{j=1}^k c_j(\bm\theta)T_j(x)-A(\bm\theta)\Bigr\}$$

を考える。$(c_1(\bm\theta),\dots,c_k(\bm\theta))$ の動く範囲が $\mathbb{R}^k$ の開集合を含むなら、次は完備十分統計量である。

$$\Bigl(\sum_iT_1(X_i),\dots,\sum_iT_k(X_i)\Bigr)$$

証明は Laplace 変換の一意性によるのでここでは省くが、1級ではこの事実を引用して使ってよい。正規分布 $\mathrm N(\mu,\sigma^2)$ では $(\sum X_i,\sum X_i^2)$ が完備十分統計量である。同じことだが $(\bar X,Q)$ でもよい。

UMVUE の2つの作り方

定理 10.7 から、UMVUE を作る手順は2つある。

1. 直接探す。完備十分統計量 $T$ の分布を書く。そして $E_\theta[\eta(T)]=g(\theta)$ を満たす関数を探す。二項分布や Poisson 分布では、両辺を $p$ の多項式や $\lambda$ の冪級数として係数を比べればよい。
2. 条件付ける。$g(\theta)$ の簡単な不偏推定量（1個の観測だけを使ったものなど）を1つ見つけ、それを $T$ で条件付ける。定理 10.5 と定理 10.7 から、条件付けた結果が UMVUE になる。

確認テスト

オリジナル

1. 10.2-1 $X_1,X_2$ が独立に $\mathrm N(\mu,1)$ に従う。$T=(X_1,X_2)$ は十分統計量だが完備ではないことを、具体的な関数を挙げて示せ。
2. 10.2-2 $X_1,\dots,X_n$ が独立に $(0,\theta)$ 上の一様分布に従う。$M=\max X_i$ の関数として $\theta$ の UMVUE を求め、その分散を求めよ。
3. 10.2-3 $X_1,\dots,X_n$ が独立に $\mathrm{Po}(\lambda)$ に従う。$T=\sum X_i$ の関数として $\lambda^2$ の UMVUE を求めよ。
4. 10.2-4 $X_1,\dots,X_n$ が独立に $\mathrm N(\mu,1)$ に従う。$\mu^2$ の UMVUE を求め、その分散を Cramér–Rao の下界と比べよ。