ベイズ推定

定理 10.12（ベイズ推定量は事後期待損失の最小化 ★★★）

各 $\bm x$ について、事後期待損失

$$\int\mathcal L(\theta,d)\pi(\theta\mid\bm x)\,\mathrm{d}\theta$$

を最小にする $d=\delta_\pi(\bm x)$ を選ぶ。こうして作った $\delta_\pi$ はベイズ推定量である（$r(\pi,\delta_\pi)<\infty$ とする）。特に

1. 2乗損失 $(d-\theta)^2$ では事後平均 $\delta_\pi(\bm x)=E[\theta\mid\bm x]$、
2. 重み付き2乗損失 $w(\theta)(d-\theta)^2$ では $\delta_\pi(\bm x)=E[w(\theta)\theta\mid\bm x]/E[w(\theta)\mid\bm x]$、
3. 絶対損失 $\lvert d-\theta\rvert$ では事後分布の中央値

がベイズ推定量である。

命題 10.13（代表的な共役事前分布 ★★★）

1. $X\sim\mathrm{Bin}(n,p)$ で事前分布がベータ分布 $\mathrm{Beta}(a,b)$ なら、事後分布は次のベータ分布である。

$$p\mid x\sim\mathrm{Beta}(a+x,\,b+n-x)$$

事後平均は

$$E[p\mid x]=\frac{a+x}{a+b+n}=\frac{n}{a+b+n}\cdot\frac xn+\frac{a+b}{a+b+n}\cdot\frac a{a+b}.$$ 2. $X_1,\dots,X_n$ が独立に $\mathrm{Po}(\lambda)$ に従うとする。事前分布が $\mathrm{Ga}(\alpha,\beta)$ なら、$t=\sum x_i$ として

$$\lambda\mid\bm x\sim\mathrm{Ga}\Bigl(\alpha+t,\,\frac{\beta}{n\beta+1}\Bigr).$$

事後平均は

$$E[\lambda\mid\bm x]=\frac{(\alpha+t)\beta}{n\beta+1}=\frac{n\beta}{n\beta+1}\bar x+\frac1{n\beta+1}\alpha\beta.$$ 3. $X_1,\dots,X_n$ が独立に $\mathrm N(\theta,\sigma^2)$ に従い、分散は既知とする。事前分布が $\mathrm N(\mu_0,\tau^2)$ なら

$$\theta\mid\bm x\sim\mathrm N\Bigl(\frac{n\bar x/\sigma^2+\mu_0/\tau^2}{n/\sigma^2+1/\tau^2},\ \frac1{n/\sigma^2+1/\tau^2}\Bigr).$$

命題 10.14（不偏推定量とベイズ推定量 ★★）

2乗損失のもとで、$\delta$ が事前分布 $\pi$ に関するベイズ推定量であるとする。これが同時に母数の不偏推定量でもあるなら、$r(\pi,\delta)=0$ である。

例題 10.7　一様事前分布でのベイズ推定量とベイズリスク ★★★

オリジナル

$X\sim\mathrm{Bin}(n,p)$ とする。事前分布を $(0,1)$ 上の一様分布 $\mathrm{Beta}(1,1)$ とし、2乗損失を考える。

1. ベイズ推定量を求めよ。$n=10$、$x=3$ のときの値を求めよ。
2. ベイズ推定量のベイズリスクを求め、$X/n$ のベイズリスクと比べよ。

例題 10.8　損失関数でベイズ推定量が変わる例 ★★

オリジナル

$X_1,\dots,X_n$ が独立に、密度 $\lambda\mathrm e^{-\lambda x}$ の指数分布に従う。事前分布を $\lambda\sim\mathrm{Ga}(\alpha,\beta)$ とし、$t=\sum x_i$ とおく。

1. 事後分布を求めよ。
2. 2乗損失 $(d-\lambda)^2$ のベイズ推定量を求めよ。
3. 損失 $(d-\lambda)^2/\lambda^2$ のベイズ推定量を求めよ（$\alpha+n>2$ とする）。
4. 次の値のとき、(2)・(3) の値と最尤推定値 $n/t$ を求めよ。

$$\alpha=2,\qquad \beta=1,\qquad n=10,\qquad t=4$$