統計的推測

数理統計　第6章 §6.1　★★★ 統計モデル・統計量・推定量の言葉と、分解定理による十分統計量の判定

第5章までで、標本 $X_1,\dots,X_n$ から作った量（標本平均・不偏分散・順序統計量など）がどういう分布に従うかを調べた。この章では向きを逆にして、観測したデータから分布のパラメータ $\theta$ を言い当てる手続きを組み立てる。道具は次の4つである。

1. データのうち $\theta$ について情報を持つ部分だけを取り出す十分統計量と、それを見つける分解定理。
2. 推定量を具体的に作る積率法と最尤法。
3. 作った推定量の良し悪しを測る不偏性・平均二乗誤差・一致性と、不偏推定量の分散の下限を示す Cramér–Rao の不等式。
4. モデルの良さを比べる Kullback–Leibler 情報量と AIC。

資格試験の数理の科目では、推定論の大問が毎年1〜2問出る。典型は「密度を与える → 尤度を書く → 最尤推定量を求める →その期待値と分散を計算する → Fisher 情報量から Cramér–Rao の下限を出して比べる」という連鎖である。別の年には「分解定理で十分統計量を判定する」「AIC を導いてモデルを選ぶ」が加わる。

どの小問も「導出せよ」「示せ」の形なので、この章の定理はすべて証明つきで書き、例題ではその定理を使った計算を最後まで走らせる。

統計モデルと推定量

データ $X_1,\dots,X_n$ は互いに独立に、同じ確率関数または確率密度関数 $f(x;\theta)$ に従うとする。$\theta$ は値の分からないパラメータで、取りうる範囲 $\Theta\subset\mathbb{R}^k$ をパラメータ空間と呼ぶ。分布の族 $\{f(x;\theta):\theta\in\Theta\}$ を統計モデルという。独立同分布の $X_1,\dots,X_n$ を、大きさ $n$ の無作為標本という。データ全体を $\bm{X}=(X_1,\dots,X_n)$、その実現値を $\bm{x}=(x_1,\dots,x_n)$ と書くと、同時密度は

$$f_n(\bm{x};\theta)=\prod_{i=1}^n f(x_i;\theta)\tag{6.1}$$

である。

推定量は確率変数であり、データを取り直すたびに値が変わる。推定量の良し悪しを論じるとは、その確率変数の分布（平均がどこにあり、どれだけ散らばるか）を論じることである。§6.3 の評価はこの見方から始める。

十分統計量

データ $\bm{X}$ には $n$ 個の数が入っているが、推定にそのすべてが要るとは限らない。たとえば成功確率 $p$ のベルヌーイ試行を $n$ 回行ったとする。$p$ について知りたいなら「何回成功したか」だけ分かれば十分で、「何回目に成功したか」は要らないように思える。この直観を定義の形にしたものが十分統計量である。

$T=t$ が分かったあと、データの残りの部分の分布にパラメータは現れない。したがって残りの部分は $\theta$ について何の情報も持たない。実際、$T$ の値だけを知っている人は、パラメータを知らなくても、条件付き分布から乱数を引いて元のデータと同じ分布に従う「作り直しのデータ」を作ることができる。

定義どおりに条件付き分布を計算するのは、連続分布では面倒である。実際の判定には次の定理を使う。

証明

離散分布の場合に示す。

（十分性）(6.2) が成り立つとする。$T(\bm{x})=t$ を満たす $\bm{x}$ について

$$P(T=t)=\sum_{\bm{y}:T(\bm{y})=t}f_n(\bm{y};\theta)=g(t;\theta)\sum_{\bm{y}:T(\bm{y})=t}h(\bm{y})$$

であるから、

$$P(\bm{X}=\bm{x}\mid T=t)=\frac{f_n(\bm{x};\theta)}{P(T=t)}=\frac{g(t;\theta)h(\bm{x})}{g(t;\theta)\sum_{T(\bm{y})=t}h(\bm{y})} =\frac{h(\bm{x})}{\sum_{T(\bm{y})=t}h(\bm{y})}$$

となり、$\theta$ を含まない。$T(\bm{x})\neq t$ なら条件付き確率は 0 で、やはりパラメータを含まない。

（必要性）$T$ が十分統計量なら、条件付き確率 $P(\bm{X}=\bm{x}\mid T=T(\bm{x}))$ はパラメータを含まない。これを $h(\bm{x})$ とおく。$\{\bm{X}=\bm{x}\}\subset\{T=T(\bm{x})\}$ だから

$$f_n(\bm{x};\theta)=P(\bm{X}=\bm{x})=P\bigl(T=T(\bm{x})\bigr)\,P\bigl(\bm{X}=\bm{x}\mid T=T(\bm{x})\bigr)$$

であり、$g(t;\theta)=P(T=t)$ とおけば (6.2) の形になる。

連続分布でも主張は同じ形で成り立つ（証明には条件付き分布を測度論で定義し直す必要がある）。試験では定理の主張をそのまま使ってよい。

分解定理を使うときの手順は決まっている。同時密度 (6.1) を書き、$\theta$ を含む因子と含まない因子に分け、$\theta$ を含む因子がデータにどういう形で依存しているかを読む。その形が十分統計量である。

台（密度が正になる範囲）が $\theta$ に依存する分布では、指示関数 $\mathbf{1}\{\cdot\}$ を使って同時密度を書くのが要点である。

指数型分布族

多くの代表的な分布では、十分統計量がひと目で読める。

(6.3) を $n$ 個掛けると

$$f_n(\bm{x};\theta)=\Bigl\{\prod_i h(x_i)\Bigr\}c(\theta)^n\exp\Bigl(\sum_j w_j(\theta)\sum_i t_j(x_i)\Bigr)$$

となる。分解定理から、次の組が十分統計量である。

$$\Bigl(\sum_i t_1(X_i),\dots,\sum_i t_k(X_i)\Bigr)$$

次の分布はすべて指数型分布族である（括弧内は十分統計量を作る関数）。

• ポアソン分布 $\mathrm{Po}(\lambda)$：$t(x)=x$。
• 二項分布 $\mathrm{Bin}(m,p)$（試行回数は既知）：$t(x)=x$。
• 正規分布：$t_1=x,\ t_2=x^2$。
• ガンマ分布 $\mathrm{Ga}(\alpha,\beta)$：$t_1=x,\ t_2=\log x$。
• ベータ分布：$t_1=\log x,\ t_2=\log(1-x)$。

台がパラメータに依存する $\mathrm{U}(0,\theta)$ は指数型分布族ではない。この区別は §6.3 の Cramér–Rao の不等式が使えるかどうかの区別とも一致する。

確認テスト

オリジナル

1. 6.1-1 $X_1,\dots,X_n$ が独立に $\mathrm{Po}(\lambda)$ に従うとする。分解定理を用いて、$\sum_{i=1}^n X_i$ が $\lambda$ の十分統計量であることを示せ。
2. 6.1-2 成功確率 $p$ のベルヌーイ試行 $X_1,\dots,X_n$ を考える。成功回数を $T=\sum X_i$ とする。$P(X_1=1\mid T=t)$ を求め、$p$ によらないことを確かめよ。
3. 6.1-3 $X_1,\dots,X_n$ が独立に $\mathrm{Ga}(\alpha,\beta)$ に従うとする。(a) $\alpha,\beta$ がともに未知のときの十分統計量を1つ求めよ。(b) $\alpha$ が既知のときはどうか。
4. 6.1-4 $X_1,\dots,X_n$ が独立に $\mathrm{U}(0,\theta)$ に従うとする。最大値 $T=X_{(n)}$ の密度を求めよ。
5. 6.1-5 $T$ が十分統計量で、関数 $\psi$ は1対1とする。このとき $\psi(T)$ も十分統計量であることを、分解定理から示せ。