tecktom.com

検定統計量の導出方法

2026年10月15日15分で読めますAI生成教科書『資格試験』第7章 統計的仮説検定
目次
  1. 尤度比検定
  2. Wilks の定理
  3. Wald 検定とスコア検定
  4. 確認テスト
  5. 木下の層

AI 生成・木下が未勉強

数理統計　第7章 §7.3　★★★ 尤度比検定と Wilks の定理。新しいモデルで「検定統計量を導出せよ」と言われたときの標準手順

§7.2 の検定は、どれも統計量の形を先に与えていた。モデルが変わったときに検定統計量を自分で作る一般的な方法が尤度比検定である。

尤度比検定

定義 7.6（尤度比検定）

尤度を L(θ)L(\theta) とし、

Λ(x)=sup⁡θ∈Θ0L(θ)sup⁡θ∈ΘL(θ)(7.8)\Lambda(\bm{x})=\frac{\sup_{\theta\in\Theta_0}L(\theta)}{\sup_{\theta\in\Theta}L(\theta)}\tag{7.8}

を尤度比と呼ぶ。値は 0≤Λ≤10\le\Lambda\le1 の範囲にある。Λ≤k\Lambda\le k のとき帰無仮説を棄却する検定を尤度比検定という。定数 kk はサイズが α\alpha になるように決める。

分母は全体での最大尤度、分子は帰無仮説の制約のもとでの最大尤度である。比の大きさは次のように読む。

  • H0H_0 が正しければ、制約を課しても尤度はあまり下がらない。比は 1 に近い。
  • H0H_0 が誤っていれば、制約で尤度が大きく下がる。比は小さくなる。

計算は次の手順で行う。

  1. 全体での最尤推定量 θ^\hat\theta を求め、L(θ^)L(\hat\theta) を書く。
  2. 帰無仮説のもとでの最尤推定量 θ^0\hat\theta_0 を求め、L(θ^0)L(\hat\theta_0) を書く。
  3. 比 Λ=L(θ^0)/L(θ^)\Lambda=L(\hat\theta_0)/L(\hat\theta) を、既知の分布を持つ統計量の単調関数として書き直す。書き直せれば正確な棄却域が得られる。書き直せなければ Wilks の定理による近似の棄却域を使う。

命題 7.7（正規平均の尤度比検定は tt 検定）

標本が独立に N(μ,σ2)\mathrm{N}(\mu,\sigma^2) に従うとする（分散は未知）。仮説 H0:μ=μ0 対 H1:μ≠μ0H_0:\mu=\mu_0\ \text{対}\ H_1:\mu\ne\mu_0 の尤度比は、T=n(Xˉ−μ0)/ST=\sqrt n(\bar X-\mu_0)/S を用いて

Λ=(1+T2n−1)−n/2(7.9)\Lambda=\left(1+\frac{T^2}{n-1}\right)^{-n/2}\tag{7.9}

と書ける。したがって尤度比検定は両側 tt 検定 ∣T∣>tn−1(α/2)\lvert T\rvert >t_{n-1}(\alpha/2) と一致する。

証明

尤度は次のとおりである。

L(μ,σ2)=(2πσ2)−n/2exp⁡(−∑(xi−μ)22σ2).L(\mu,\sigma^2)=(2\pi\sigma^2)^{-n/2}\exp\Bigl(-\frac{\sum(x_i-\mu)^2}{2\sigma^2}\Bigr).

μ\mu を固定して σ2\sigma^2 について最大化する。

∂log⁡L∂σ2=−n2σ2+∑(xi−μ)22σ4=0（停留条件）σ2=1n∑(xi−μ)2（これを解いた）max⁡σ2L=(2π⋅1n∑(xi−μ)2)−n/2e−n/2（代入した）\begin{aligned}\frac{\partial\log L}{\partial\sigma^2}&=-\frac{n}{2\sigma^2}+\frac{\sum(x_i-\mu)^2}{2\sigma^4}=0 &&\text{（停留条件）}\\ \sigma^2&=\frac1n\sum(x_i-\mu)^2 &&\text{（これを解いた）}\\ \max_{\sigma^2}L&=\Bigl(2\pi\cdot\frac1n\sum(x_i-\mu)^2\Bigr)^{-n/2}e^{-n/2} &&\text{（代入した）}\end{aligned}

2つの最大化はそれぞれ次の点でとる。

全体: μ=xˉ, σ^2=1n∑(xi−xˉ)2;H0: μ=μ0, σ^02=1n∑(xi−μ0)2.\text{全体}:\ \mu=\bar x,\ \hat\sigma^2=\frac1n\sum(x_i-\bar x)^2;\qquad H_0:\ \mu=\mu_0,\ \hat\sigma_0^2=\frac1n\sum(x_i-\mu_0)^2 .

定数 e−n/2e^{-n/2} と (2π)−n/2(2\pi)^{-n/2} は比で消えるので

Λ=(σ^2σ^02)n/2.\Lambda=\left(\frac{\hat\sigma^2}{\hat\sigma_0^2}\right)^{n/2}.

平方和の分解 ∑(xi−μ0)2=∑(xi−xˉ)2+n(xˉ−μ0)2\sum(x_i-\mu_0)^2=\sum(x_i-\bar x)^2+n(\bar x-\mu_0)^2 より、σ^02=σ^2+(xˉ−μ0)2\hat\sigma_0^2=\hat\sigma^2+(\bar x-\mu_0)^2 である。nσ^2=(n−1)s2n\hat\sigma^2=(n-1)s^2 を使うと

σ^02σ^2=1+(xˉ−μ0)2σ^2=1+n(xˉ−μ0)2(n−1)s2=1+t2n−1.\frac{\hat\sigma_0^2}{\hat\sigma^2}=1+\frac{(\bar x-\mu_0)^2}{\hat\sigma^2}=1+\frac{n(\bar x-\mu_0)^2}{(n-1)s^2}=1+\frac{t^2}{n-1}.

これを −n/2-n/2 乗すれば (7.9) を得る。尤度比は T2T^2 の減少関数である。よって Λ≤k\Lambda\le k は ∣T∣≥k′\lvert T\rvert \ge k' と同値である。

Wilks の定理

尤度比を既知の分布の統計量に書き直せないときは、n→∞n\to\infty での分布を使う。

定理 7.8（Wilks の定理 ★★★）

正則条件のもとで、次を仮定する。

  • Θ\Theta は Rp\mathbb{R}^p の開集合である。
  • Θ0\Theta_0 はその p−rp-r 次元の部分集合である。
  • 真の θ\theta は Θ0\Theta_0 の内点にある（帰無仮説の集合自身の次元で見る）。

このとき帰無仮説のもとで

−2log⁡Λ → d  χr2(n→∞)-2\log\Lambda\ \xrightarrow{\ d\ }\ \chi^2_r\qquad(n\to\infty)

が成り立つ。自由度 r=dim⁡Θ−dim⁡Θ0r=\dim\Theta-\dim\Theta_0 は、帰無仮説が固定する自由なパラメータの個数である。

証明（p=1p=1、H0:θ=θ0H_0:\theta=\theta_0 の場合）

この場合は自由度が1である。θ^=θ^ML\hat\theta=\hat\theta_{\mathrm{ML}} と書くと、−2log⁡Λ=2{ℓ(θ^)−ℓ(θ0)}-2\log\Lambda=2\{\ell(\hat\theta)-\ell(\theta_0)\} である。ℓ(θ0)\ell(\theta_0) を θ^\hat\theta のまわりで2次まで Taylor 展開する。2点の間のある θ~\tilde\theta について

ℓ(θ0)=ℓ(θ^)+ℓ′(θ^)(θ0−θ^)+12ℓ′′(θ~)(θ0−θ^)2.\ell(\theta_0)=\ell(\hat\theta)+\ell'(\hat\theta)(\theta_0-\hat\theta)+\frac12\ell''(\tilde\theta)(\theta_0-\hat\theta)^2 .

最尤推定量なので ℓ′(θ^)=0\ell'(\hat\theta)=0。よって

−2log⁡Λ=−ℓ′′(θ~)(θ^−θ0)2={−1nℓ′′(θ~)}⋅{n(θ^−θ0)}2.-2\log\Lambda=-\ell''(\tilde\theta)(\hat\theta-\theta_0)^2=\left\{-\frac1n\ell''(\tilde\theta)\right\}\cdot\Bigl\{\sqrt n(\hat\theta-\theta_0)\Bigr\}^2 .

右辺の2つの因子の極限を順に調べる。

  1. 第1因子：θ^\hat\theta は一致推定量なので、θ~→θ0\tilde\theta\to\theta_0（確率収束）。大数の法則により

−1nℓ′′(θ0)=−1n∑∂2∂θ2log⁡f(Xi;θ0)→I(θ0).-\frac1n\ell''(\theta_0)=-\frac1n\sum\frac{\partial^2}{\partial\theta^2}\log f(X_i;\theta_0)\to I(\theta_0).

正則条件（ℓ′′\ell'' の連続性と一様な可積分性）を使う。θ~\tilde\theta で評価した値も同じ極限 I(θ0)I(\theta_0) に収束する。2. 第2因子：(7.2) より

nI(θ0)(θ^−θ0)→Z∼N(0,1).\sqrt{nI(\theta_0)}(\hat\theta-\theta_0)\to Z\sim\mathrm{N}(0,1).

Slutsky の定理から

−2log⁡Λ=−1nℓ′′(θ~)I(θ0)⋅{nI(θ0)(θ^−θ0)}2 → d  1⋅Z2∼χ12.-2\log\Lambda=\frac{-\frac1n\ell''(\tilde\theta)}{I(\theta_0)}\cdot\Bigl\{\sqrt{nI(\theta_0)}(\hat\theta-\theta_0)\Bigr\}^2\ \xrightarrow{\ d\ }\ 1\cdot Z^2\sim\chi^2_1 .

一般の rr の場合も、2つの最尤推定量のまわりで同じ2次展開を行い、rr 次元の正規ベクトルの2次形式に帰着させて示す。真の値が Θ0\Theta_0 の境界にある場合は内点の仮定が崩れ、極限はカイ二乗分布にならない（分散成分 σa2=0\sigma_a^2=0 の検定など）。

Wald 検定とスコア検定

Wilks の定理の証明に現れた2次形式からは、尤度比と漸近的に同じ働きをする統計量があと2つ作れる。1次元の H0:θ=θ0H_0:\theta=\theta_0 として、

W=(θ^−θ0)2 In(θ^)(Wald 統計量),R=U(θ0)2In(θ0),U(θ)=∂ℓ∂θ(スコア統計量、Raoの検定)\begin{align*}W&=(\hat\theta-\theta_0)^2\,I_n(\hat\theta)\qquad(\textbf{Wald 統計量}),\tag{7.10}\\R&=\frac{U(\theta_0)^2}{I_n(\theta_0)},\quad U(\theta)=\frac{\partial\ell}{\partial\theta}\qquad(\textbf{スコア統計量}、Rao の検定)\tag{7.11}\end{align*}

と定める。2つの作り方は次のとおりである。

  • Wald 統計量：(7.2) を、θ^\hat\theta で評価した Fisher 情報量で標準化したもの。
  • スコア統計量：帰無仮説のもとでスコアは次の平均と分散を持ち、中心極限定理で正規に近づく。それを標準化したもの。

E[U(θ0)]=0,V[U(θ0)]=In(θ0).E[U(\theta_0)]=0,\qquad V[U(\theta_0)]=I_n(\theta_0).

どちらも帰無仮説のもとで χ12\chi^2_1 に分布収束する。スコア統計量は帰無仮説のもとでの量しか使わないので、全体での最尤推定量が求めにくいときに使いやすい。有限の nn では3つの値は一致しないが、帰無仮説の近くでは差が op(1)o_p(1) になる。

例題 7.4　指数分布の尤度比検定・Wald 検定・スコア検定 ★★★

オリジナルX1,…,XnX_1,\dots,X_n は独立に Ex(λ)\mathrm{Ex}(\lambda) に従う。H0:λ=λ0 対 H1:λ≠λ0H_0:\lambda=\lambda_0\ \text{対}\ H_1:\lambda\ne\lambda_0 を考える。

  1. −2log⁡Λ-2\log\Lambda を Xˉ\bar X で表せ。
  2. Wald 統計量 (7.10) とスコア統計量 (7.11) を求め、両者が一致することを示せ。
  3. 次の数値で、3つの統計量の値を求めよ。

n=20,xˉ=1.4,λ0=1.n=20,\qquad \bar x=1.4,\qquad \lambda_0=1.

Wilks の定理による近似で、有意水準 0.05 の判定をせよ。さらに 2λ0∑Xi∼χ2n22\lambda_0\sum X_i\sim\chi^2_{2n} を使う正確な両側検定でも判定せよ。

解答
  1. 対数尤度と最尤推定量は次のとおりである。

ℓ(λ)=nlog⁡λ−λ∑xi=n(log⁡λ−λxˉ),ℓ′(λ)=n(1/λ−xˉ)=0⟹λ^=1/xˉ.\begin{aligned}\ell(\lambda)&=n\log\lambda-\lambda\sum x_i=n(\log\lambda-\lambda\bar x),\\ \ell'(\lambda)&=n(1/\lambda-\bar x)=0\quad\Longrightarrow\quad \hat\lambda=1/\bar x .\end{aligned}

よって

−2log⁡Λ=2{ℓ(λ^)−ℓ(λ0)}=2n{−log⁡xˉ−1−log⁡λ0+λ0xˉ}=2n{λ0xˉ−1−log⁡(λ0xˉ)}.-2\log\Lambda=2\{\ell(\hat\lambda)-\ell(\lambda_0)\}=2n\bigl\{-\log\bar x-1-\log\lambda_0+\lambda_0\bar x\bigr\}=2n\bigl\{\lambda_0\bar x-1-\log(\lambda_0\bar x)\bigr\}.

不等式 u−1−log⁡u≥0u-1-\log u\ge0 が成り立つ（等号は u=1u=1）。よって値は非負で、λ0xˉ\lambda_0\bar x が 1 から離れるほど大きい。2. ℓ′′(λ)=−n/λ2\ell''(\lambda)=-n/\lambda^2 なので In(λ)=n/λ2I_n(\lambda)=n/\lambda^2。Wald 統計量は

W=(λ^−λ0)2⋅nλ^2=n(1−λ0λ^)2=n(1−λ0xˉ)2.W=(\hat\lambda-\lambda_0)^2\cdot\frac{n}{\hat\lambda^2}=n\left(1-\frac{\lambda_0}{\hat\lambda}\right)^2=n(1-\lambda_0\bar x)^2 .

スコアは U(λ0)=n(1/λ0−xˉ)U(\lambda_0)=n(1/\lambda_0-\bar x) で、

R=n2(1/λ0−xˉ)2n/λ02=n(1−λ0xˉ)2.R=\frac{n^2(1/\lambda_0-\bar x)^2}{n/\lambda_0^2}=n(1-\lambda_0\bar x)^2 .

よって W=RW=R。このモデルでは、最尤推定量で評価した情報量 nxˉ2n\bar x^2 と比 (λ^−λ0)/λ^(\hat\lambda-\lambda_0)/\hat\lambda の組み合わせが、スコアの形とちょうど一致する。3. 数値では λ0xˉ=1.4\lambda_0\bar x=1.4 なので

−2log⁡Λ=40 (1.4−1−log⁡1.4)=40 (0.4−0.33647)=2.541,W=R=20×0.42=3.200.-2\log\Lambda=40\,(1.4-1-\log1.4)=40\,(0.4-0.33647)=2.541,\quad W=R=20\times0.4^2=3.200 .

棄却限界は χ12(0.05)=3.841\chi^2_1(0.05)=3.841 で、どちらも下回るので棄却しない。

正確な検定では統計量の値は 2λ0∑xi=2×28=562\lambda_0\sum x_i=2\times28=56 で、

χ402(0.975)=24.433<56<χ402(0.025)=59.342\chi^2_{40}(0.975)=24.433<56<\chi^2_{40}(0.025)=59.342

なので、こちらも棄却しない。

例題 7.5　2つのポアソン母集団の平均の比較 ★★

オリジナル2組の標本を互いに独立にとる。

X1,…,Xm∼Po(λ1),Y1,…,Yn∼Po(λ2)(各組の中も独立).X_1,\dots,X_m\sim\mathrm{Po}(\lambda_1),\qquad Y_1,\dots,Y_n\sim\mathrm{Po}(\lambda_2)\qquad(\text{各組の中も独立}).

H0:λ1=λ2H_0:\lambda_1=\lambda_2 の尤度比検定統計量 −2log⁡Λ-2\log\Lambda を求めよ。次の数値で、Wilks の定理を使い有意水準 0.05 の判定をせよ。

m=n=10,∑xi=30,∑yj=48.m=n=10,\qquad \sum x_i=30,\qquad \sum y_j=48.

解答

対数尤度は、パラメータによらない項を除いて

ℓ(λ1,λ2)=(∑xi)log⁡λ1−mλ1+(∑yj)log⁡λ2−nλ2.\ell(\lambda_1,\lambda_2)=\Bigl(\sum x_i\Bigr)\log\lambda_1-m\lambda_1+\Bigl(\sum y_j\Bigr)\log\lambda_2-n\lambda_2 .

全体では λ^1=xˉ\hat\lambda_1=\bar x、λ^2=yˉ\hat\lambda_2=\bar y である。帰無仮説のもとでは、共通の λ\lambda について次を最大化する。

ℓ=(∑xi+∑yj)log⁡λ−(m+n)λ⟹λ^0=∑xi+∑yjm+n.\ell=\Bigl(\sum x_i+\sum y_j\Bigr)\log\lambda-(m+n)\lambda \quad\Longrightarrow\quad \hat\lambda_0=\frac{\sum x_i+\sum y_j}{m+n}.

一次の項は、次の等式により比で消える。

−mλ^1−nλ^2=−(m+n)λ^0=−(∑xi+∑yj).-m\hat\lambda_1-n\hat\lambda_2=-(m+n)\hat\lambda_0=-\Bigl(\sum x_i+\sum y_j\Bigr).

よって

−2log⁡Λ=2{(∑xi)log⁡xˉλ^0+(∑yj)log⁡yˉλ^0}.-2\log\Lambda=2\left\{\Bigl(\sum x_i\Bigr)\log\frac{\bar x}{\hat\lambda_0}+\Bigl(\sum y_j\Bigr)\log\frac{\bar y}{\hat\lambda_0}\right\}.

全体のパラメータは2次元、帰無仮説のもとでは1次元なので、Wilks の定理の自由度は r=1r=1 である。数値では

xˉ=3.0,yˉ=4.8,λ^0=78/20=3.9\bar x=3.0,\qquad \bar y=4.8,\qquad \hat\lambda_0=78/20=3.9

なので

−2log⁡Λ=2{30log⁡(3.0/3.9)+48log⁡(4.8/3.9)}=2{30×(−0.26236)+48×0.20764}=4.192.-2\log\Lambda=2\{30\log(3.0/3.9)+48\log(4.8/3.9)\}=2\{30\times(-0.26236)+48\times0.20764\}=4.192 .

棄却限界 χ12(0.05)=3.841\chi^2_1(0.05)=3.841 を上回るので、帰無仮説を棄却する（近似の pp 値は 0.041）。

確認テスト

オリジナル

  1. 7.3-1 正規母集団 N(μ,σ2)\mathrm{N}(\mu,\sigma^2) で、平均と分散がともに未知とする。次の2つの仮説の尤度比検定に Wilks の定理を使うとき、それぞれの自由度を答えよ。

(a) H0:μ=0,(b) H0:μ=0, σ2=1.\text{(a)}\ H_0:\mu=0,\qquad \text{(b)}\ H_0:\mu=0,\ \sigma^2=1. 2. 7.3-2 X1,…,XnX_1,\dots,X_n は独立に N(0,σ2)\mathrm{N}(0,\sigma^2) に従う（平均は既知で 0）。帰無仮説 H0:σ2=σ02H_0:\sigma^2=\sigma_0^2 の尤度比を考える。次の記号を使う。

σ^2=1n∑Xi2,u=σ^2/σ02.\hat\sigma^2=\frac1n\sum X_i^2,\qquad u=\hat\sigma^2/\sigma_0^2.

このとき −2log⁡Λ=n(u−1−log⁡u)-2\log\Lambda=n(u-1-\log u) を示せ。また次の数値で、有意水準 0.05 の判定を2通りで行え。

n=25,∑xi2=40,σ02=1.n=25,\qquad \sum x_i^2=40,\qquad \sigma_0^2=1.

1つは Wilks の近似、もう1つは ∑Xi2/σ02∼χ252\sum X_i^2/\sigma_0^2\sim\chi^2_{25} による正確な両側検定である。3. 7.3-3 X∼Bin(100,p)X\sim\mathrm{Bin}(100,p) で x=60x=60 を観測した。帰無仮説 H0:p=0.5H_0:p=0.5 について、3つの統計量の値を求め、有意水準 0.05 で判定せよ。3つとは、尤度比統計量 −2log⁡Λ-2\log\Lambda、Wald 統計量、スコア統計量である。4. 7.3-4 分散が既知の正規母集団 N(μ,σ2)\mathrm{N}(\mu,\sigma^2) で、帰無仮説 H0:μ=μ0H_0:\mu=\mu_0 の尤度比を求めよ。さらに −2log⁡Λ-2\log\Lambda が帰無仮説のもとで（漸近でなく）正確に χ12\chi^2_1 に従うことを示せ。

木下の勉強ステータス

木下はまだこの記事を勉強していません。

AI（Claude）が書いた教材を、木下が勉強しながら公開しています。式と数値は検算していますが、誤りが残っているかもしれません。誤りのご指摘・削除のご依頼をいただければ直します。 連絡先：support@tecktom.com

目次

この記事が含まれている連載

連載AI生成教科書『資格試験』資格試験に向けて、AI（Claude）が出題範囲に沿って書いた教材を、木下が勉強しながら公開しています。257本の記事・木下 智貴
← AI生成教科書『資格試験』の記事一覧へ