点推定量の導出方法

ガンマ分布の積率推定量

$X_i\sim\mathrm{Ga}(\alpha,\beta)$ では $E[X]=\alpha\beta,\ V[X]=\alpha\beta^2$ である。2次の積率の代わりに分散を使う。標本の側の量を

$$\bar X=\frac1n\sum X_i,\qquad\hat v=\frac1n\sum(X_i-\bar X)^2=m_2'-\bar X^2$$

とおき、連立方程式 $\alpha\beta=\bar X,\ \alpha\beta^2=\hat v$ を解くと

$$\tilde\beta=\frac{\hat v}{\bar X},\qquad\tilde\alpha=\frac{\bar X^2}{\hat v}$$

を得る。同じ問題を最尤法で解くと $\alpha$ の方程式がディガンマ関数を含み、閉じた形で解けない（数値解法は第11章）。

正規分布の最尤推定量

$X_i\sim\mathrm{N}(\mu,\sigma^2)$ で $\mu,\sigma^2$ がともに未知とする。$v=\sigma^2$ とおくと

$$\ell(\mu,v)=-\frac n2\log(2\pi)-\frac n2\log v-\frac{1}{2v}\sum_{i=1}^n(x_i-\mu)^2.$$

偏微分して $0$ とおくと

$$\frac{\partial \ell}{\partial \mu}=\frac1v\sum_{i=1}^n(x_i-\mu)=0,\qquad \frac{\partial \ell}{\partial v}=-\frac{n}{2v}+\frac{1}{2v^2}\sum_{i=1}^n(x_i-\mu)^2=0$$

である。第1式から $\hat\mu=\bar x$ を得て、それを第2式に入れると

$$\hat v=\frac1n\sum(x_i-\bar x)^2$$

を得る。

最大であることは、次の2段で確かめる。

1. $v$ を固定して $\mu$ を動かす。 二乗和 $\sum(x_i-\mu)^2$ は標本平均で最小になる。したがって $\ell(\mu,v)\le\ell(\bar x,v)$ である。
2. $\mu=\bar x$ に固定して $v$ を動かす。 微分すると

$$\ell(\bar x,v)=-\frac n2\log v-\frac{n\hat v}{2v}+\text{定数},\qquad\frac{\partial }{\partial v}\ell(\bar x,v)=\frac{n}{2v^2}(\hat v-v)$$

である。導関数は $v<\hat v$ で正、$v>\hat v$ で負である。よって $\hat v$ が最大点である。（$\hat v>0$ は、観測値がすべて等しい場合を除いて成り立つ。）

したがって最尤推定量は

$$\hat\mu_{\mathrm{ML}}=\bar X,\qquad\hat\sigma^2_{\mathrm{ML}}=\frac1n\sum(X_i-\bar X)^2=\frac{n-1}{n}S^2$$

である。最尤推定量は不偏分散 $S^2$ ではなく、$n$ で割った方になる。

一様分布の最尤推定量

$X_i\sim\mathrm{U}(0,\theta)$ のとき、§6.1 の分解と同じく

$$L(\theta)=\theta^{-n}\mathbf{1}\{\theta>x_{(n)}\}\quad(x_{(1)}>0\text{ のもとで})$$

である。尤度の形は $x_{(n)}$ の前後で変わる（図 6.1）。

• $\theta\le x_{(n)}$ では $L(\theta)=0$ である。
• $\theta>x_{(n)}$ では $\theta^{-n}$ が単調減少する。

台を閉区間 $[0,\theta]$ で定めれば、尤度は $\theta=x_{(n)}$ で最大値をとる。よって最尤推定量は $\hat\theta_{\mathrm{ML}}=X_{(n)}$ である（開区間で定めると上限は達成されないが、密度を零集合の上で変えても分布は変わらないので、慣習として閉区間で考える）。尤度方程式 $-n/\theta=0$ は解を持たないので、微分だけで解こうとすると答えが出ない。