tecktom.com

リスク最適性の枠組み

2026年10月15日12分で読めますAI生成教科書『資格試験』第10章 リスク最適性の理論
目次
  1. 損失関数とリスク関数
  2. 優越と許容性
  3. 正規分布の分散を定数倍の族で比べる
  4. 二項分布の比率を縮小推定量で比べる
  5. 確認テスト
  6. 木下の層

AI 生成・木下が未勉強

数理統計　第10章 §10.1　★★ 損失・リスク・優越・許容性の定義。リスクは θ\theta の関数なので、一様に最良な推定量は一般に存在しない

第6章では、最尤法やモーメント法で推定量を作り、不偏性・一致性・Cramér–Rao の下界で評価した。この章では評価の側を一般化する。

推定量 δ(X)\delta(\bm X) が真の値 θ\theta からずれたときの損を、関数で表す。その期待値（リスク）を θ\theta の関数として比べる。リスクは θ\theta の関数なので、2つの推定量のどちらが良いかは一般に θ\theta によって入れ替わる。

そこで比べ方を4つ用意する。

  1. 推定量の範囲を不偏推定量に限る（§10.2）。
  2. 変換に対して素直にふるまう同変推定量に限る（§10.3）。
  3. リスクを事前分布で平均する（§10.4）。
  4. リスクの最大値で比べる（§10.5）。

1級の統計数理では、この章の道具は次の2つの形で問われる。

  • 完備十分統計量を見つけ、簡単な不偏推定量をそれで条件付けて一様最小分散不偏推定量（UMVUE）を作り、その分散を計算する。
  • 共役事前分布から事後分布を書き、2乗損失のベイズ推定量（事後平均）を出す。そのリスク関数を計算し、リスクが θ\theta によらなくなる超母数を選んでミニマックス推定量を得る。

どちらも定義を書いて積分や和を最後まで計算する問題で、結果の暗記では点にならない。この章の定理はすべて証明つきで書き、各節の例題でその計算を1回通しで行う。

損失関数とリスク関数

観測 X=(X1,…,Xn)\bm X=(X_1,\dots,X_n) の分布が未知の母数 θ∈Θ\theta\in\Theta で定まっているとする。θ\theta やその関数 g(θ)g(\theta) を推定する関数を推定量と呼ぶ。推定量は δ(X)\delta(\bm X) と書く。

推定値が dd で真の値が θ\theta のときの損を、非負の関数で表す。これを損失関数と呼び、L(θ,d)\mathcal L(\theta,d) と書く。本書では尤度を L(θ)L(\theta) と書くので、損失関数には筆記体を使う。

定義 10.1（損失関数とリスク関数）

損失関数 L(θ,d)≥0\mathcal L(\theta,d)\ge0 のもとで、推定量 δ\delta のリスク関数を

R(θ,δ)=Eθ[L(θ,δ(X))](10.1)R(\theta,\delta)=E_\theta\bigl[\mathcal L(\theta,\delta(\bm X))\bigr]\tag{10.1}

で定める。EθE_\theta は、母数が θ\theta のときの分布による期待値である。代表的な損失関数は次の3つである。

L(θ,d)=(d−θ)2(2乗損失),L(θ,d)=w(θ)(d−θ)2(重み付き2乗損失),L(θ,d)=∣d−θ∣(絶対損失).\begin{aligned}\mathcal L(\theta,d)&=(d-\theta)^2 &&(\text{2乗損失}),\\ \mathcal L(\theta,d)&=w(\theta)(d-\theta)^2 &&(\text{重み付き2乗損失}),\\ \mathcal L(\theta,d)&=\lvert d-\theta\rvert &&(\text{絶対損失}).\end{aligned}

2乗損失のリスクは平均2乗誤差（MSE）そのもので、分散と偏りの2乗に分かれる。

命題 10.2（MSE の分解 ★★★）

δ\delta の分散が有限なら、偏り b(θ)=Eθ[δ]−θb(\theta)=E_\theta[\delta]-\theta を使って

Eθ[(δ−θ)2]=Vθ[δ]+b(θ)2.(10.2)E_\theta\bigl[(\delta-\theta)^2\bigr]=V_\theta[\delta]+b(\theta)^2 .\tag{10.2}

証明

m=Eθ[δ]m=E_\theta[\delta] とおき、δ−θ=(δ−m)+(m−θ)\delta-\theta=(\delta-m)+(m-\theta) と分ける。2乗して期待値をとると

Eθ[(δ−θ)2]=Eθ[(δ−m)2]+2(m−θ)Eθ[δ−m]+(m−θ)2E_\theta\bigl[(\delta-\theta)^2\bigr]=E_\theta[(\delta-m)^2]+2(m-\theta)E_\theta[\delta-m]+(m-\theta)^2

となる。中央の項は Eθ[δ−m]=0E_\theta[\delta-m]=0 によって消える。第1項が Vθ[δ]V_\theta[\delta]、第3項が b(θ)2b(\theta)^2 である。

優越と許容性

定義 10.3（優越・許容的・非許容的）

推定量 δ1\delta_1 が推定量 δ2\delta_2 を優越するとは、次の2条件が成り立つことをいう。

  1. すべての θ∈Θ\theta\in\Theta で R(θ,δ1)≤R(θ,δ2)R(\theta,\delta_1)\le R(\theta,\delta_2) が成り立つ。
  2. 少なくとも1つの θ\theta で不等号が狭義になる。

δ\delta を優越する推定量が存在しないとき、δ\delta は許容的（admissible）であるという。許容的でない推定量を非許容的という。

非許容的な推定量は、どの θ\theta でもリスクが下がる取り替え先があるので、使う理由が無い。逆に、許容的であることは良い推定量の最低条件にすぎない。次の例がそれを示す。

定数推定量

θ0\theta_0 を1つ決め、データを見ずに δ≡θ0\delta\equiv\theta_0 と答える推定量を考える。2乗損失のリスクは (θ0−θ)2(\theta_0-\theta)^2 である。これは θ=θ0\theta=\theta_0 では 0 になる。どの推定量もリスクは 0 以上なので、θ=θ0\theta=\theta_0 でこれより小さいリスクを持つ推定量は無い。

したがって、すべての θ\theta で同時にリスクが最小となる推定量 δ∗\delta^\ast があるとする。それはどの θ0\theta_0 でも R(θ0,δ∗)=0R(\theta_0,\delta^\ast)=0 を満たさなければならない。これは観測から θ\theta が誤差なしに分かることを意味し、普通の統計モデルでは起こらない。

一様に最良な推定量は一般に存在しない。そこで、比べる推定量の範囲を狭めるか（不偏推定量・同変推定量）、リスク関数を1つの数にまとめて比べるか（事前分布での平均・最大値）のどちらかを選ぶ。前者が §10.2 と §10.3、後者が §10.4 と §10.5 の内容である。

正規分布の分散を定数倍の族で比べる

不偏性にこだわるとリスクの意味で損をすることがある。正規母集団の分散を例に、そのことを計算で確かめる。X1,…,XnX_1,\dots,X_n が独立に N(μ,σ2)\mathrm N(\mu,\sigma^2) に従い、母数はともに未知とする。偏差平方和を

Q=∑i=1n(Xi−Xˉ)2Q=\sum_{i=1}^n(X_i-\bar X)^2

と書く（本書の記号では S2=Q/(n−1)S^2=Q/(n-1) である）。第5章で導いたとおり Q/σ2∼χn−12Q/\sigma^2\sim\chi^2_{n-1} なので、

E[Q]=(n−1)σ2,V[Q]=2(n−1)σ4E[Q]=(n-1)\sigma^2,\qquad V[Q]=2(n-1)\sigma^4

である。

例題 10.1　分散の推定量 cQcQ の MSE ★★★

オリジナル

上の設定で、正の定数をかけた推定量 δc=cQ\delta_c=cQ を考える。これらを2乗損失 (d−σ2)2(d-\sigma^2)^2 で比べる。

  1. R(σ2,δc)R(\sigma^2,\delta_c) を c,n,σ2c,n,\sigma^2 で表せ。
  2. リスクを最小にする cc を求め、そのときのリスクを求めよ。
  3. 不偏分散 S2S^2 と最尤推定量のリスクを求めよ。それぞれ c=1/(n−1)c=1/(n-1) と c=1/nc=1/n に当たる。3つの大小を比べよ。S2S^2 は許容的か。
解答

(1) 命題 10.2 より

R(σ2,δc)=c2V[Q]+(cE[Q]−σ2)2=σ4{2(n−1)c2+((n−1)c−1)2}=σ4{(n−1)(n+1)c2−2(n−1)c+1}.\begin{aligned}R(\sigma^2,\delta_c)&=c^2V[Q]+\bigl(cE[Q]-\sigma^2\bigr)^2=\sigma^4\bigl\{2(n-1)c^2+\bigl((n-1)c-1\bigr)^2\bigr\}\\ &=\sigma^4\bigl\{(n-1)(n+1)c^2-2(n-1)c+1\bigr\}.\end{aligned}

(2) 波括弧の中は cc の2次式で、c2c^2 の係数が正である。cc で微分して 0 とおくと

2(n−1)(n+1)c−2(n−1)=0,すなわちc∗=1n+12(n-1)(n+1)c-2(n-1)=0,\qquad\text{すなわち}\quad c^\ast=\frac1{n+1}

である。代入すると

R(σ2,δc∗)=σ4{n−1n+1−2(n−1)n+1+1}=2σ4n+1.R(\sigma^2,\delta_{c^\ast})=\sigma^4\Bigl\{\frac{n-1}{n+1}-\frac{2(n-1)}{n+1}+1\Bigr\}=\frac{2\sigma^4}{n+1}.

(3) 2つの cc を代入すると

c=1n−1:σ4{n+1n−1−2+1}=2σ4n−1,c=1n:σ4{n2−1n2−2(n−1)n+1}=σ4(2n−1)n2\begin{aligned}c=\frac1{n-1}&:\quad \sigma^4\Bigl\{\frac{n+1}{n-1}-2+1\Bigr\}=\frac{2\sigma^4}{n-1},\\ c=\frac1n&:\quad \sigma^4\Bigl\{\frac{n^2-1}{n^2}-\frac{2(n-1)}n+1\Bigr\}=\frac{\sigma^4(2n-1)}{n^2}\end{aligned}

である。n≥2n\ge2 で

2n+1<2n−1n2<2n−1\frac{2}{n+1}<\frac{2n-1}{n^2}<\frac{2}{n-1}

が成り立つ。左右の不等号はそれぞれ次と同値である。

2n2<(2n−1)(n+1)=2n2+n−1,(2n−1)(n−1)=2n2−3n+1<2n2.2n^2<(2n-1)(n+1)=2n^2+n-1,\qquad (2n-1)(n-1)=2n^2-3n+1<2n^2 .

3つのリスクはどれも σ4\sigma^4 の定数倍なので、この大小はすべての母数の値で成り立つ。したがって Q/(n+1)Q/(n+1) は S2S^2 を優越する。2乗損失のもとで S2S^2 は非許容的である。

Q/(n+1)Q/(n+1) は偏りを持つが、分散を小さくした分だけ MSE が下がる。この例は「不偏性」と「リスクが小さいこと」が別の要請であることを示している。

二項分布の比率を縮小推定量で比べる

X∼Bin(n,p)X\sim\mathrm{Bin}(n,p) から pp を推定する。標本比率 X/nX/n のほかに、a≥0a\ge0 として

δa=X+an+2a\delta_a=\frac{X+a}{n+2a}

を考える。これは X/nX/n を 1/21/2 の方へ寄せた推定量である。a=1a=1 のときは Laplace の推定量 (X+1)/(n+2)(X+1)/(n+2) になる。

例題 10.2　リスクが pp によらない縮小推定量 ★★★

オリジナル

2乗損失のもとで次に答えよ。

  1. R(p,δa)R(p,\delta_a) を求めよ。
  2. リスクが pp によらなくなる aa を求めよ。そのときのリスクを求めよ。
  3. max⁡0≤p≤1R(p,X/n)\max_{0\le p\le1}R(p,X/n) と (2) のリスクを比べよ。
解答

(1) E[X]=npE[X]=np、V[X]=np(1−p)V[X]=np(1-p) である。これより、δa\delta_a の偏りと分散は

np+an+2a−p=a(1−2p)n+2a,np(1−p)(n+2a)2\frac{np+a}{n+2a}-p=\frac{a(1-2p)}{n+2a},\qquad \frac{np(1-p)}{(n+2a)^2}

である。命題 10.2 より

R(p,δa)=np(1−p)+a2(1−2p)2(n+2a)2.R(p,\delta_a)=\frac{np(1-p)+a^2(1-2p)^2}{(n+2a)^2}.

(2) 分子を pp について展開すると

np−np2+a2(1−4p+4p2)=a2+(n−4a2)p+(4a2−n)p2np-np^2+a^2(1-4p+4p^2)=a^2+(n-4a^2)p+(4a^2-n)p^2

となる。これが pp によらないのは 4a2=n4a^2=n のときである。すなわち a=n/2a=\sqrt n/2 である。そのとき分子は n/4n/4 で、

R(p,δn/2)=n/4(n+n)2=14(n+1)2.R\Bigl(p,\delta_{\sqrt n/2}\Bigr)=\frac{n/4}{(n+\sqrt n)^2}=\frac{1}{4(\sqrt n+1)^2}.

(3) 標本比率のリスクは R(p,X/n)=p(1−p)/nR(p,X/n)=p(1-p)/n である。これは p=1/2p=1/2 で最大値 1/(4n)1/(4n) をとる。(n+1)2>n(\sqrt n+1)^2>n なので

14(n+1)2<14n\frac1{4(\sqrt n+1)^2}<\frac1{4n}

であり、最大リスクは δn/2\delta_{\sqrt n/2} の方が小さい。ただし pp が 0 や 1 に近いところでは X/nX/n のリスクの方が小さい（図 10.1）。

図

図 10.1　n=16n=16 の二項分布で pp を推定するときの2乗損失のリスク。実線が標本比率、破線が Laplace の推定量、点線が例題 10.2 の a=n/2=2a=\sqrt n/2=2 の推定量（リスクは一定で 0.01）。どの曲線も他を一様には下回らない

図 10.1 の3本の曲線はどれも交わっており、どれか1本が他を優越することは無い。3本のどれを選ぶかは、リスク関数をどう1つの数にまとめるかで決まる。最大値で比べれば点線が最も小さく（§10.5）、pp を一様分布で平均すれば破線が最も小さい（§10.4）。

確認テスト

オリジナル

  1. 10.1-1 X∼Bin(n,p)X\sim\mathrm{Bin}(n,p)、0<p<10<p<1 とし、2乗損失を考える。定数推定量 δ≡1/2\delta\equiv1/2 は許容的であることを示せ。
  2. 10.1-2 X1,…,XnX_1,\dots,X_n が独立に平均 θ\theta の指数分布に従う。密度は θ−1e−x/θ\theta^{-1}\mathrm{e}^{-x/\theta}（x>0x>0）である。T=∑XiT=\sum X_i として、推定量 cTcT の2乗損失のリスクを求めよ。リスクを最小にする cc とそのときのリスクを求め、Xˉ\bar X のリスクと比べよ。
  3. 10.1-3 確率変数 YY の分布関数が連続で、E∣Y∣<∞E\lvert Y\rvert <\infty とする。E∣Y−d∣E\lvert Y-d\rvert を最小にする定数は YY の中央値であることを示せ。
  4. 10.1-4 X1,…,XnX_1,\dots,X_n が独立に Po(λ)\mathrm{Po}(\lambda) に従う。定数 cc は 0<c<10<c<1 とする。cXˉc\bar X と Xˉ\bar X の2乗損失のリスクを比べよ。cXˉc\bar X の方がリスクの小さい λ\lambda の範囲を求めよ。

木下の勉強ステータス

木下はまだこの記事を勉強していません。

AI（Claude）が書いた教材を、木下が勉強しながら公開しています。式と数値は検算していますが、誤りが残っているかもしれません。誤りのご指摘・削除のご依頼をいただければ直します。 連絡先：support@tecktom.com

目次

この記事が含まれている連載

連載AI生成教科書『資格試験』資格試験に向けて、AI（Claude）が出題範囲に沿って書いた教材を、木下が勉強しながら公開しています。257本の記事・木下 智貴
← AI生成教科書『資格試験』の記事一覧へ