この章のまとめと試験での出方

数理統計　第6章 §6.5　★★★ 推定論の大問は「尤度 → 最尤推定量 → 分布・期待値 → 下限との比較」の連鎖

この章では、推定の手続きを4段で組み立てた。

1. 十分統計量。 データのうち $\theta$ についての情報をすべて持つ部分で、分解定理 (6.2) により同時密度の形から読み取る。台が $\theta$ に依存する分布では、指示関数を残して書けば最大値や最小値が十分統計量として現れる。指数型分布族では $\sum t_j(X_i)$ が十分統計量になる。
2. 推定量の作り方。 積率法と最尤法で作る。最尤法は尤度を書いて対数を取り、微分して尤度方程式を解く手順が基本である。台が $\theta$ に依存する場合は、微分せずに尤度の単調性を読む。最尤推定量は付け替えに対して不変である。
3. 推定量の評価。 偏りと分散に分けた平均二乗誤差で評価し、不偏推定量の分散には Cramér–Rao の下限 $g'(\theta)^2/(nI(\theta))$ がある。下限が達成されるのは、指数型分布族で十分統計量の期待値を推定する場合に限られる。一方、最尤推定量はどの量についても漸近的に下限を達成する。
4. モデル選択。 最尤法を Kullback–Leibler 情報量の最小化と読み直し、最大対数尤度の偏りを補正した AIC $=-2\ell(\hat\theta)+2k$ を導いた。

統計数理の推定論の大問は、これらの道具が小問の連鎖として並ぶ。典型的な形は次の3つである。

第一は「密度の規格化 → 尤度 → 最尤推定量 → その分布と期待値 → 不偏化 → 分散と Cramér–Rao の下限の比較」で、例題 6.1・6.2・6.5 がこの順に並んでいる。最尤推定量の分布を出すには、第5章の変数変換（$-\log X\sim\mathrm{Ex}(\theta)$）と再生性（指数分布の和がガンマ分布）を使う。

第二は台が $\theta$ に依存する分布で、「十分統計量を分解定理で判定（最小値か最大値）→ その厳密分布 → 偏りの補正 → 極限分布 → 信頼区間」と進む。2025年 統計数理 問2 の題材（台が片側で切れたシフト族での最小値の十分性と、$n(\hat\theta_n-\theta)$ の極限分布からの信頼区間）がこの型である。ここでは Cramér–Rao の不等式は使えず、推定量の分散は $1/n^2$ の速さで小さくなる。

第三はモデル選択で、「モデルの規格化 → 尤度 → 最尤推定量 → 最大対数尤度 → AIC の導出 → AIC による選択」と進む。2025年 統計数理 問1 の題材（区分定数型の密度での最尤推定と AIC）がこの型で、AIC の値を当てはめるだけでなく、命題 6.19 の導出を書かせることがある。

答案を書くときは、尤度方程式の解が最大点であることの確認（2階導関数の符号か増減）、Cramér–Rao の不等式を使う前の正則条件の確認、最尤推定量の期待値に $E[1/T]\neq1/E[T]$ の計算が入ることの3点で減点されやすい。推定量の評価をさらに進める話題（Rao–Blackwell の定理による改良、完備十分統計量による一様最小分散不偏推定量、ベイズ推定）は第10章で扱い、推定量の漸近分布から信頼区間を組み立てる手続きは第8章で扱う。