最良共変（不変）推定

数理統計　第10章 §10.3　★ 位置母数・尺度母数の族では、同変推定量のリスクが母数によらない。その中の最良のものが Pitman 推定量

位置母数族と同変推定量

密度 $f$ を1つ固定する。$X_1,\dots,X_n$ が独立に密度 $f(x-\theta)$ に従うとし、母数は実数全体を動くとする。このような族を位置母数族と呼ぶ。

$Z_i=X_i-\theta$ とおくと、$Z_i$ は母数によらず同じ密度に従う。データ全体を $c$ だけずらすと、母数も同じだけずれる。そこで推定量にも同じずれ方を要求するのが自然である。

次の4つはどれも位置同変である。

$$\bar X,\qquad \text{標本中央値},\qquad X_1,\qquad \frac{X_{(1)}+X_{(n)}}2$$

$2\bar X$ や定数推定量は位置同変ではない。

証明

$X_i=\theta+Z_i$ と書くと、同変性から $\delta(\bm X)-\theta=\delta(\bm Z+\theta\bm 1)-\theta=\delta(\bm Z)$ である。よって $R(\theta,\delta)=E[\rho(\delta(\bm Z))]$ で、$\bm Z$ の分布は母数によらない。

リスクが定数なので、同変推定量どうしは1つの数で比べられ、最小のものが意味を持つ。これを最良同変推定量と呼ぶ。

最良同変推定量と Pitman 推定量

まず同変推定量の形を決める。$\delta_0$ を1つの同変推定量（たとえば $X_n$）とする。差の組を

$$\bm Y=(X_1-X_n,\dots,X_{n-1}-X_n)$$

とおく。$\bm Y$ はデータをずらしても変わらない（不変）。

証明

$\delta$ が同変なら、$u(\bm x)=\delta_0(\bm x)-\delta(\bm x)$ はずらしても変わらない。ずらす量を $c=-x_n$ と選ぶと

$$u(\bm x)=u(x_1-x_n,\dots,x_{n-1}-x_n,0)$$

となり、$u$ は $\bm Y$ だけの関数である。これを $v(\bm Y)$ と書けばよい。逆に、$\delta_0$ は同変で $\bm Y$ は不変である。よって両者を組み合わせた $\delta_0-v(\bm Y)$ は同変である。

証明

命題 10.9 よりリスクは $\theta=0$ で計算すればよい。補題 10.10 で $\delta_0=X_n$ とすると、リスクは

$$E_0\bigl[(X_n-v(\bm Y))^2\bigr]=E_0\Bigl[E_0\bigl[(X_n-v(\bm Y))^2\mid\bm Y\bigr]\Bigr]$$

である。内側の条件付き期待値は、$\bm Y=\bm y$ ごとに $v(\bm y)$ の2次式である。これは $v(\bm y)=E_0[X_n\mid\bm Y=\bm y]$ のとき最小になる。

この条件付き期待値を計算する。変換 $x_i=x_n+y_i$（$i<n$）のヤコビアンは 1 である。よって母数が 0 のもとで、$(X_n,\bm Y)$ の同時密度は

$$\prod_{i=1}^nf(u+y_i)\qquad(u\text{ は }X_n\text{ の値},\ y_n=0)$$

である。したがって

$$E_0[X_n\mid\bm Y=\bm y]=\frac{\int u\prod_if(u+y_i)\,\mathrm{d} u}{\int\prod_if(u+y_i)\,\mathrm{d} u}.$$

観測値 $\bm x$ から $y_i=x_i-x_n$ を作る。積分変数を $u=x_n-\theta$ と置換すると、$u+y_i=x_i-\theta$ となる。よって

$$E_0[X_n\mid\bm Y=\bm y]=\frac{\int(x_n-\theta)\prod_if(x_i-\theta)\,\mathrm{d}\theta}{\int\prod_if(x_i-\theta)\,\mathrm{d}\theta}=x_n-\delta^\ast(\bm x).$$

したがって最良の推定量は $x_n-(x_n-\delta^\ast(\bm x))=\delta^\ast(\bm x)$ である。

式 (10.5) は、尤度 $\prod f(x_i-\theta)$ を母数の関数とみて正規化したものの平均である。§10.4 の言葉では、実数全体の上の一様な（積分が有限でない）事前分布に対する事後平均に当たる。

尺度母数族

密度が $\sigma^{-1}f(x/\sigma)$（$\sigma>0$）の形の族を尺度母数族と呼ぶ。$\sigma^r$ を推定するとしよう。データを $c>0$ 倍すると、推定したい量は $c^r$ 倍になる。そこで推定量と損失に次の形を要求する。

$$\delta(c\bm x)=c^r\delta(\bm x),\qquad \mathcal L(\sigma,d)=\Bigl(\frac d{\sigma^r}-1\Bigr)^2$$

命題 10.9 と同じ議論で、同変推定量のリスクは $\sigma$ によらない。

正の統計量 $T$ が同変、つまり $T(c\bm x)=c^rT(\bm x)$ であるとする。このとき $W=T/\sigma^r$ の分布は $\sigma$ によらない。推定量を $cT$ の形に限ると、リスクは

$$E\bigl[(cW-1)^2\bigr]=c^2E[W^2]-2cE[W]+1$$

で、$c^\ast=E[W]/E[W^2]$ のとき最小になる。

確認テスト

オリジナル

1. 10.3-1 次の推定量のうち位置同変なものを選べ。

$$\bar X,\qquad \text{標本中央値},\qquad \bar X+1,\qquad 2\bar X,\qquad X_{(n)}-X_{(1)}$$ 2. 10.3-2 $X_1,\dots,X_n$ が独立に区間 $(\theta-\frac12,\theta+\frac12)$ 上の一様分布に従う。Pitman 推定量を求めよ。そのリスクを求めて $\bar X$ のリスク $1/(12n)$ と比べよ。ただし $(0,1)$ 上の一様分布の順序統計量について、次を使ってよい。

$$V[U_{(1)}]=V[U_{(n)}]=\frac{n}{(n+1)^2(n+2)},\qquad \mathrm{Cov}(U_{(1)},U_{(n)})=\frac1{(n+1)^2(n+2)}$$ 3. 10.3-3 $X_1,\dots,X_n$ が独立に $\mathrm N(0,\sigma^2)$ に従う。損失 $(d/\sigma^2-1)^2$ を考える。$c\sum X_i^2$ の形の推定量の中で、最良のものとそのリスクを求めよ。4. 10.3-4 補題 10.10 を使わずに、$\mathrm N(\theta,1)$ の Pitman 推定量が $\bar X$ になることを、式 (10.5) の積分を平方完成で計算して示せ。