この章のまとめと試験での出方

数理統計　第9章 §9.6

この章の中心は、正規線形モデル $\bm{Y}=X\bm{\beta}+\bm{\varepsilon}$ について次の3つが成り立つことであった。

1. 最小二乗推定量 $\hat{\bm{\beta}}=(X^\top X)^{-1}X^\top\bm{Y}$ は最尤推定量と一致する。
2. $\hat{\bm{\beta}}\sim\mathrm{N}_p(\bm{\beta},\sigma^2(X^\top X)^{-1})$ かつ $S_e/\sigma^2\sim\chi^2_{n-p}$。
3. $\hat{\bm{\beta}}$ と $S_e$ は独立である。

この3つが揃うと、係数の検定と信頼区間、平均の信頼区間と予測区間、入れ子のモデルを比べる検定が組み立てられる。材料は第5章の $t$ 分布と $F$ 分布の定義だけである。

証明の要は2つある。射影行列 $H$ と $I-H$ が対称べき等で互いに直交することと、補題 9.5 である。補題は、対称べき等行列による二次形式が $\chi^2$ に従い、直交する射影どうしが独立になることを言う。単回帰では、正規直交基底を手で作る定理 9.2 の証明が同じことを行っている。

正規線形モデルの外側では、変数選択の規準 $C_p$・AIC・交差検証がいずれも1つの事実の補正として導かれた。「残差平方和は予測誤差を $2p\sigma^2$ だけ過小に見積もる」（定理 9.8）という事実である。

一般化線形モデルでは、指数型分布族と正準リンクを組み合わせると、スコアと情報行列が正規方程式と同じ形になる。

$$\frac{\partial \ell}{\partial \bm{\beta}}=\frac{X^\top(\bm{Y}-\bm{\mu})}{\phi},\qquad I_n(\bm{\beta})=\frac{X^\top WX}{\phi} .$$

推測には最尤推定量の漸近正規性と尤度比検定を使う。分散分析は計画行列を群の指示変数にした線形モデルで、変量効果モデルでは期待平均平方が分散成分の推定の出発点になる。

1級でこの章の道具が問われるときは、小問が次のように連鎖することが多い。

• 単回帰の連鎖：尤度を書く → 正規方程式から $\hat\alpha,\hat\beta$ → 平方和分解 → 推定量と残差平方和の分布 → $t$ 統計量 → 標本相関係数との関係とその分布。2025年 統計数理 問3 の題材（単回帰の平方和分解から標本相関係数の密度まで）はこの型である。
• 重回帰の連鎖：推定量を行列で導く → $H$ の対称性・べき等性・トレース → 残差平方和の期待値 → 部分モデルとの $F$ 検定 → 決定係数との関係。
• 選択の連鎖：最大対数尤度を $S_e$ で書く → AIC の式 → 入れ子のモデルの AIC の大小を $F$ 統計量の条件に直す。2025年 統計数理 問1 の題材（区分定数型の密度での AIC によるモデル選択）は、尤度から AIC を書く部分が共通である。
• GLM の連鎖：分布を指数型分布族の形に書く → 平均と分散を $b(\theta)$ から出す → スコアと情報行列 → Newton–Raphson の1ステップ → Wald または尤度比で検定。
• 分散分析の連鎖：平方和の分解 → 期待平均平方 → $F$ 検定 → 分散成分の推定と信頼区間。統計応用の理工学ではこの連鎖が実験計画法の問題として出る。

90分で3問を選ぶ試験では、1問に30分かけられる。単回帰の連鎖は計算が定型的で、前半の小問（推定量とその分布）は確実に取れるので、選択の候補に入れやすい。後半の $r$ の密度や二次形式の独立性の証明は、補題 9.5 を答案の中で1回書き下せるかどうかで差がつく。