相対エントロピーから情報と物理を組み立てる 第1部 第7章 §1.7.3 ★★★ どんな不偏推定量の分散も 1 / J 1/J 1/ J
推定量と不偏性
X X X θ \theta θ θ ^ ( x ) \hat\theta(x) θ ^ ( x ) 推定量 と呼ぶ（帽子は演算子でなく推定量の印である）。平均がちょうど真の値になる、つまりすべての θ \theta θ ⟨ θ ^ ⟩ θ = θ \langle \hat\theta \rangle _\theta=\theta ⟨ θ ^ ⟩ θ = θ 不偏推定量 と呼ぶ。一般には ⟨ θ ^ ⟩ θ = θ + b ( θ ) \langle \hat\theta \rangle _\theta=\theta+b(\theta) ⟨ θ ^ ⟩ θ = θ + b ( θ ) b ( θ ) b(\theta) b ( θ ) 偏り と呼ぶ。
定理 1.7.3（Cramér–Rao の不等式 ★★★）
正則な族と、分散が有限な推定量 θ ^ \hat\theta θ ^
V a r θ ( θ ^ ) ≥ ( 1 + b ′ ( θ ) ) 2 J ( θ ) (1.7.10) \mathrm{Var}_\theta(\hat\theta)\ge\frac{\bigl(1+b'(\theta)\bigr)^2}{J(\theta)}\tag{1.7.10} Var θ ( θ ^ ) ≥ J ( θ ) ( 1 + b ′ ( θ ) ) 2 ( 1.7.10 )
が成り立つ。特に不偏推定量では
V a r θ ( θ ^ ) ≥ 1 J ( θ ) (1.7.11) \mathrm{Var}_\theta(\hat\theta)\ge\frac{1}{J(\theta)}\tag{1.7.11} Var θ ( θ ^ ) ≥ J ( θ ) 1 ( 1.7.11 )
であり、独立な n n n 1 / ( n J ( θ ) ) 1/(nJ(\theta)) 1/ ( n J ( θ ))
証明 ⟨ θ ^ ⟩ θ = ∑ x θ ^ ( x ) p ( x ; θ ) = θ + b ( θ ) \langle \hat\theta \rangle _\theta=\sum_x\hat\theta(x)p(x;\theta)=\theta+b(\theta) ⟨ θ ^ ⟩ θ = ∑ x θ ^ ( x ) p ( x ; θ ) = θ + b ( θ ) θ \theta θ ∂ θ p = p s θ \partial_\theta p=p\,s_\theta ∂ θ p = p s θ
1 + b ′ ( θ ) = ∑ x θ ^ ( x ) s θ ( x ) p ( x ; θ ) = ⟨ θ ^ s θ ⟩ θ = ⟨ ( θ ^ − ⟨ θ ^ ⟩ θ ) s θ ⟩ θ 1+b'(\theta)=\sum_x\hat\theta(x)\,s_\theta(x)\,p(x;\theta)=\langle \hat\theta\,s_\theta \rangle _\theta=\langle (\hat\theta-\langle \hat\theta \rangle _\theta)\,s_\theta \rangle _\theta 1 + b ′ ( θ ) = x ∑ θ ^ ( x ) s θ ( x ) p ( x ; θ ) = ⟨ θ ^ s θ ⟩ θ = ⟨( θ ^ − ⟨ θ ^ ⟩ θ ) s θ ⟩ θ
となる。最後の等号は ⟨ s θ ⟩ θ = 0 \langle s_\theta \rangle _\theta=0 ⟨ s θ ⟩ θ = 0 θ ^ − ⟨ θ ^ ⟩ θ \hat\theta-\langle \hat\theta \rangle _\theta θ ^ − ⟨ θ ^ ⟩ θ s θ s_\theta s θ
( 1 + b ′ ( θ ) ) 2 ≤ ⟨ ( θ ^ − ⟨ θ ^ ⟩ θ ) 2 ⟩ θ ⟨ s θ 2 ⟩ θ = V a r θ ( θ ^ ) J ( θ ) \bigl(1+b'(\theta)\bigr)^2\le\langle (\hat\theta-\langle \hat\theta \rangle _\theta)^2 \rangle _\theta\,\langle s_\theta^2 \rangle _\theta=\mathrm{Var}_\theta(\hat\theta)\,J(\theta) ( 1 + b ′ ( θ ) ) 2 ≤ ⟨( θ ^ − ⟨ θ ^ ⟩ θ ) 2 ⟩ θ ⟨ s θ 2 ⟩ θ = Var θ ( θ ^ ) J ( θ )
を得る。J > 0 J>0 J > 0 (1.7.10) である。n n n (1.7.7) で J J J n J nJ n J
不等式は C. R. Rao（C. R. Rao (1945), Bull. Calcutta Math. Soc. 37 , 81–91）と H. Cramér（H. Cramér (1946), Mathematical Methods of Statistics , Princeton University Press）がそれぞれ示した。
等号が成り立つとき
Cauchy–Schwarz の等号は、2つの確率変数が比例するときに成り立つ。不偏推定量で等号が成り立つのは、ある関数 k ( θ ) k(\theta) k ( θ ) s θ ( x ) = k ( θ ) ( θ ^ ( x ) − θ ) s_\theta(x)=k(\theta)\bigl(\hat\theta(x)-\theta\bigr) s θ ( x ) = k ( θ ) ( θ ^ ( x ) − θ ) x x x θ ^ − θ \hat\theta-\theta θ ^ − θ 1 = k ( θ ) V a r θ ( θ ^ ) 1=k(\theta)\mathrm{Var}_\theta(\hat\theta) 1 = k ( θ ) Var θ ( θ ^ ) J = k 2 V a r θ ( θ ^ ) J=k^2\mathrm{Var}_\theta(\hat\theta) J = k 2 Var θ ( θ ^ ) k ( θ ) = J ( θ ) k(\theta)=J(\theta) k ( θ ) = J ( θ )
∂ ∂ θ ln p ( x ; θ ) = J ( θ ) ( θ ^ ( x ) − θ ) (1.7.12) \frac{\partial }{\partial \theta}\ln p(x;\theta)=J(\theta)\bigl(\hat\theta(x)-\theta\bigr)\tag{1.7.12} ∂ θ ∂ ln p ( x ; θ ) = J ( θ ) ( θ ^ ( x ) − θ ) ( 1.7.12 )
であり、これを θ \theta θ ln p ( x ; θ ) = A ( θ ) θ ^ ( x ) − B ( θ ) + c ( x ) \ln p(x;\theta)=A(\theta)\hat\theta(x)-B(\theta)+c(x) ln p ( x ; θ ) = A ( θ ) θ ^ ( x ) − B ( θ ) + c ( x ) 有効推定量 ）が存在するのは、分布が θ ^ ( x ) \hat\theta(x) θ ^ ( x ) 指数型分布族 p ( x ; θ ) = h ( x ) exp [ A ( θ ) θ ^ ( x ) − B ( θ ) ] p(x;\theta)=h(x)\exp\bigl[A(\theta)\hat\theta(x)-B(\theta)\bigr] p ( x ; θ ) = h ( x ) exp [ A ( θ ) θ ^ ( x ) − B ( θ ) ] θ ^ \hat\theta θ ^
台がパラメータによる族では成り立たない
一様分布 p ( x ; θ ) = 1 / θ p(x;\theta)=1/\theta p ( x ; θ ) = 1/ θ 0 ≤ x ≤ θ 0\le x\le\theta 0 ≤ x ≤ θ θ \theta θ s θ = − 1 / θ s_\theta=-1/\theta s θ = − 1/ θ J = 1 / θ 2 J=1/\theta^2 J = 1/ θ 2 (1.7.11) は n n n V a r ≥ θ 2 / n \mathrm{Var}\ge\theta^2/n Var ≥ θ 2 / n M = max i X i M=\max_iX_i M = max i X i n + 1 n M \frac{n+1}{n}M n n + 1 M θ 2 / ( n ( n + 2 ) ) \theta^2/\bigl(n(n+2)\bigr) θ 2 / ( n ( n + 2 ) ) n n n ⟨ θ ^ ⟩ θ \langle \hat\theta \rangle _\theta ⟨ θ ^ ⟩ θ θ \theta θ 1 / n 1/\sqrt n 1/ n 1 / n 1/n 1/ n
多パラメータの場合
パラメータが θ = ( θ 1 , … , θ k ) \theta=(\theta_1,\dots,\theta_k) θ = ( θ 1 , … , θ k ) D ( p θ ∥ p θ + δ ) = 1 2 ∑ i , j J i j ( θ ) δ i δ j + O ( ∣ δ ∣ 3 ) D(p_\theta\,\|\,p_{\theta+\delta})=\frac12\sum_{i,j}J_{ij}(\theta)\delta_i\delta_j+\mathcal{O}(\lvert \delta\rvert ^3) D ( p θ ∥ p θ + δ ) = 2 1 ∑ i , j J ij ( θ ) δ i δ j + O (∣ δ ∣ 3 )
J i j ( θ ) = ⟨ ∂ θ i ln p ∂ θ j ln p ⟩ θ (1.7.13) J_{ij}(\theta)=\langle \partial_{\theta_i}\ln p\;\partial_{\theta_j}\ln p \rangle _\theta\tag{1.7.13} J ij ( θ ) = ⟨ ∂ θ i ln p ∂ θ j ln p ⟩ θ ( 1.7.13 )
を Fisher 情報行列 と呼ぶ。不偏推定量の共分散行列 Σ i j = C o v θ ( θ ^ i , θ ^ j ) \Sigma_{ij}=\mathrm{Cov}_\theta(\hat\theta_i,\hat\theta_j) Σ ij = Cov θ ( θ ^ i , θ ^ j ) Σ ≥ J − 1 \Sigma\ge J^{-1} Σ ≥ J − 1 u u u v v v C o v ( u ⋅ θ ^ , v ⋅ s ) = u ⋅ v \mathrm{Cov}(u\cdot\hat\theta,\,v\cdot s)=u\cdot v Cov ( u ⋅ θ ^ , v ⋅ s ) = u ⋅ v v = J − 1 u v=J^{-1}u v = J − 1 u θ 1 \theta_1 θ 1 ( J − 1 ) 11 ≥ 1 / J 11 (J^{-1})_{11}\ge1/J_{11} ( J − 1 ) 11 ≥ 1/ J 11 J 1 j = 0 J_{1j}=0 J 1 j = 0 j ≠ 1 j\ne1 j = 1 θ 1 \theta_1 θ 1
例題 1.7.3 Poisson 分布の平均は標本平均が下限に達する ★★
オリジナル 単位時間に検出器へ入る光子の数 X X X θ \theta θ p ( x ; θ ) = θ x e − θ / x ! p(x;\theta)=\theta^x\mathrm{e}^{-\theta}/x! p ( x ; θ ) = θ x e − θ / x ! n n n X 1 , … , X n X_1,\dots,X_n X 1 , … , X n θ \theta θ
J ( θ ) J(\theta) J ( θ ) 標本平均 X ˉ = 1 n ∑ i X i \bar X=\frac1n\sum_iX_i X ˉ = n 1 ∑ i X i
等号の条件 (1.7.12) が成り立っていることを確かめよ。
θ = 100 \theta=100 θ = 100 V a r ( X ˉ ) / θ \sqrt{\mathrm{Var}(\bar X)}/\theta Var ( X ˉ ) / θ
解答 (1) ln p = x ln θ − θ − ln x ! \ln p=x\ln\theta-\theta-\ln x! ln p = x ln θ − θ − ln x ! s θ = x / θ − 1 s_\theta=x/\theta-1 s θ = x / θ − 1 ∂ θ s θ = − x / θ 2 \partial_\theta s_\theta=-x/\theta^2 ∂ θ s θ = − x / θ 2 J = − ⟨ ∂ θ s θ ⟩ = ⟨ X ⟩ / θ 2 = 1 / θ J=-\langle \partial_\theta s_\theta \rangle =\langle X \rangle /\theta^2=1/\theta J = − ⟨ ∂ θ s θ ⟩ = ⟨ X ⟩ / θ 2 = 1/ θ
(2) ⟨ X ˉ ⟩ = θ \langle \bar X \rangle =\theta ⟨ X ˉ ⟩ = θ V a r ( X ˉ ) = θ / n \mathrm{Var}(\bar X)=\theta/n Var ( X ˉ ) = θ / n 1 / ( n J ) = θ / n 1/(nJ)=\theta/n 1/ ( n J ) = θ / n
(3) n n n ∑ i ( x i ln θ − θ ) + const \sum_i(x_i\ln\theta-\theta)+\text{const} ∑ i ( x i ln θ − θ ) + const θ \theta θ ∑ i x i / θ − n = n θ ( x ˉ − θ ) \sum_ix_i/\theta-n=\frac{n}{\theta}(\bar x-\theta) ∑ i x i / θ − n = θ n ( x ˉ − θ ) n n n n J = n / θ nJ=n/\theta n J = n / θ n J ( θ ) ( x ˉ − θ ) nJ(\theta)(\bar x-\theta) n J ( θ ) ( x ˉ − θ ) (1.7.12) の等号の条件そのものである。
(4) θ / n / θ = 1 / n θ ≤ 0.01 \sqrt{\theta/n}/\theta=1/\sqrt{n\theta}\le0.01 θ / n / θ = 1/ n θ ≤ 0.01 n θ ≥ 10 4 n\theta\ge10^4 n θ ≥ 1 0 4 n ≥ 100 n\ge100 n ≥ 100 10 4 10^4 1 0 4
AI（Claude）が書いた教材を、木下が勉強しながら公開しています。式と数値は検算していますが、誤りが残っているかもしれません。誤りのご指摘・削除のご依頼をいただければ直します。 連絡先：support@tecktom.com
