デルタ法

2026年10月15日17分で読めますAI生成教科書『基礎理論』第13章中心極限定理

1変数のデルタ法
多変数のデルタ法
微分係数が 0 のとき
確認テスト
木下の層

AI 生成・木下が未勉強

確率論入門　第13章 §13.4　★★★ 推定量の誤差の分布が正規分布に近づくなら、微分可能な関数に通した $g(T_n)$ の誤差も同じく正規分布に近づき、分散は $g'(\theta)^2$ 倍になる。推定量の関数の誤差を見積もる標準の道具

1変数のデルタ法

中心極限定理によって標本平均 $\bar X_n$ の近似分布が分かる。しかし実際に関心があるのは、 $\bar X_n$ そのものよりその関数であることが多い。たとえば次の2つである。

指数分布のレート $\lambda$ は平均の逆数なので、 $1/\bar X_n$ で推定する。
成功確率の対数オッズ $\log(p/(1-p))$ は、相対頻度 $\hat p_n$ を代入して推定する。

$g$ が $\theta$ の近くで滑らかなら、次の1次近似ができる。

$g(T_n)-g(\theta)\approx g'(\theta)(T_n-\theta)$

したがって、ずれの分布は $g'(\theta)$ 倍に伸び縮みするだけだと予想される。これを正確に述べたものがデルタ法である。

まず、 $\sqrt n$ 倍して分布収束する量は、元の尺度では 0 に近づくことを確かめておく。

補題 13.18

ある確率変数 $Y$ について $\sqrt n(T_n-\theta)\xrightarrow{d}Y$ とする。このとき $T_n\xrightarrow{P}\theta$ である。

証明

$T_n-\theta=n^{-1/2}\cdot\sqrt n(T_n-\theta)$ と書く。定数の列 $n^{-1/2}$ は 0 に（確率）収束するので、Slutsky の定理（第11章 §11.4）から $T_n-\theta\xrightarrow{d}0\cdot Y=0$ である。極限が定数なので確率収束に格上げされ（第11章 §11.2）、 $T_n\xrightarrow{P}\theta$ を得る。

定理 13.19（デルタ法）

$\sqrt n(T_n-\theta)\xrightarrow{d}\mathrm N(0,\sigma^2)$ とする。Borel 可測な関数 $g:\mathbb{R}\to\mathbb{R}$ が $\theta$ で微分可能であるとする。このとき

$\sqrt n\bigl(g(T_n)-g(\theta)\bigr)\xrightarrow{d}\mathrm N\bigl(0,\ g'(\theta)^2\sigma^2\bigr)\tag{13.16}$

が成り立つ（ $g'(\theta)=0$ なら極限は定数 0）。

証明

次のように $r$ を定める。

$r(h)=\frac{g(\theta+h)-g(\theta)}{h}-g'(\theta)\quad(h\ne0),\qquad r(0)=0$

微分可能性から $r$ は 0 で連続であり、すべての $h$ で

$g(\theta+h)-g(\theta)=g'(\theta)h+h\,r(h)$

が成り立つ。 $h=T_n-\theta$ を代入して両辺を $\sqrt n$ 倍する。 $W_n=\sqrt n(T_n-\theta)$ と置くと

$\sqrt n\bigl(g(T_n)-g(\theta)\bigr)=g'(\theta)W_n+W_n\,r(T_n-\theta)\tag{13.17}$

である。第1項は、連続写像定理から $g'(\theta)W\sim\mathrm N(0,g'(\theta)^2\sigma^2)$ （ $W\sim\mathrm N(0,\sigma^2)$ ）に分布収束する。

第2項を調べる。 $\varepsilon >0$ を与える。 $r$ は 0 で連続なので、ある $\eta>0$ がとれる。この値について、 $\left\vert h\right\vert <\eta$ なら $\left\vert r(h)\right\vert <\varepsilon$ となる。したがって

$P\bigl(\left\vert r(T_n-\theta)\right\vert \ge\varepsilon \bigr)\le P(\left\vert T_n-\theta\right\vert \ge\eta)\to0$

であり（補題 13.18）、 $r(T_n-\theta)\xrightarrow{P}0$ である。 $W_n$ は分布収束するので緊密であり、第11章 §11.4 の補題（緊密な列と 0 に確率収束する列の積は 0 に確率収束する）から第2項は 0 に確率収束する。最後に、同じ補題の「分布収束する列に 0 に確率収束する列を足しても極限は変わらない」から、(13.17) の左辺は第1項と同じ極限に分布収束する。

分散安定化変換

$X_1,X_2,\dots$ を独立な $\mathrm{Po}(\lambda)$ とする。中心極限定理から $\sqrt n(\bar X_n-\lambda)\xrightarrow{d}\mathrm N(0,\lambda)$ である。極限の分散が未知の $\lambda$ に依存している。このままでは、 $\lambda$ の信頼区間の幅が $\lambda$ によって変わる。 $g(x)=\sqrt x$ とすると $g'(\lambda)=\dfrac1{2\sqrt\lambda}$ なので、デルタ法から

$\sqrt n\bigl(\sqrt{\bar X_n}-\sqrt\lambda\bigr)\xrightarrow{d}\mathrm N\Bigl(0,\ \frac{1}{4\lambda}\cdot\lambda\Bigr)=\mathrm N\Bigl(0,\frac14\Bigr)$

となり、分散が $\lambda$ によらなくなる。一般に極限の分散が $\sigma^2(\theta)$ のときは、 $g'(\theta)=1/\sigma(\theta)$ となる関数を選べば、次が成り立つ。

$\sqrt n\bigl(g(T_n)-g(\theta)\bigr)\xrightarrow{d}\mathrm N(0,1)$

この $g$ を分散安定化変換と呼ぶ。

例題 13.5　対数オッズの近似分布と信頼区間 ★★

オリジナル成功確率 $p\in(0,1)$ の試行を独立に $n$ 回行う。成功の相対頻度を $\hat p_n$ とする。対数オッズを $\ell(p)=\log\dfrac{p}{1-p}$ と置く。

(1) $\sqrt n\bigl(\ell(\hat p_n)-\ell(p)\bigr)$ の極限分布を求めよ。
(2) 次を示せ。

$\sqrt{n\hat p_n(1-\hat p_n)}\,\bigl(\ell(\hat p_n)-\ell(p)\bigr)\xrightarrow{d}\mathrm N(0,1)$

（ $\hat p_n\in\{0,1\}$ となる確率は 0 に近づくので、その場合の値は任意に定めてよい。）3. (3) $n=400$ 回のうち 80 回成功した。(2) を使って対数オッズの近似 $95\%$ 区間を作り、それを $p$ の区間に戻せ。最後に、その区間を $\hat p\pm1.96\sqrt{\hat p(1-\hat p)/n}$ と比べよ。

解答

(1) 系 13.11 から $\sqrt n(\hat p_n-p)\xrightarrow{d}\mathrm N(0,p(1-p))$ である。対数オッズの微分は

$\ell'(p)=\frac1p+\frac1{1-p}=\frac1{p(1-p)}$

なので、デルタ法から

$\sqrt n\bigl(\ell(\hat p_n)-\ell(p)\bigr)\xrightarrow{d}\mathrm N\Bigl(0,\ \frac{p(1-p)}{p^2(1-p)^2}\Bigr)=\mathrm N\Bigl(0,\ \frac{1}{p(1-p)}\Bigr)$

である。

(2) (1) を標準化すると $\sqrt{np(1-p)}\,(\ell(\hat p_n)-\ell(p))\xrightarrow{d}\mathrm N(0,1)$ である。弱法則から $\hat p_n\xrightarrow{P}p$ である。関数 $x\mapsto\sqrt{x(1-x)/(p(1-p))}$ は $p$ で連続なので、連続写像定理から

$Y_n=\sqrt{\frac{\hat p_n(1-\hat p_n)}{p(1-p)}}\xrightarrow{P}1$

である。Slutsky の定理から、積 $Y_n\cdot\sqrt{np(1-p)}\,(\ell(\hat p_n)-\ell(p))$ は $1\cdot\mathrm N(0,1)$ に分布収束する。これが示すべき式である。

(3) $\hat p=0.2$ である。対数オッズの推定値と標準誤差は

$\ell(\hat p)=\log(0.25)\approx-1.3863,\qquad\frac1{\sqrt{400\cdot0.2\cdot0.8}}=\frac1{\sqrt{64}}=0.125$

である。対数オッズの区間は

$-1.3863\pm1.96\times0.125=[-1.6313,\ -1.1413]$

である。 $\ell$ は狭義増加で、逆関数は $p=\mathrm{e}^{x}/(1+\mathrm{e}^{x})$ である。したがって $p$ の区間は $[0.1637,\ 0.2421]$ となる。

一方、対数オッズを経由しない区間は

$\hat p\pm1.96\sqrt{\frac{0.2\cdot0.8}{400}}=0.2\pm0.0392=[0.1608,\ 0.2392]$

で、こちらは $\hat p$ について対称である。対数オッズを経由した区間は右に長く、 $p$ が 0 に近い側で縮む。また区間が $[0,1]$ からはみ出すことがない。

多変数のデルタ法

定理 13.20（多変数のデルタ法）

$\mathbb{R}^d$ 値の $\bm T_n$ について、次を仮定する。

$\sqrt n(\bm T_n-\bm\theta)\xrightarrow{d}\mathrm N_d(\bm0,\Sigma)$

Borel 可測な $g:\mathbb{R}^d\to\mathbb{R}$ が $\bm\theta$ で（全）微分可能であるとする。そこでの勾配を $\nabla g(\bm\theta)$ と書く。このとき

$\sqrt n\bigl(g(\bm T_n)-g(\bm\theta)\bigr)\xrightarrow{d}\mathrm N\bigl(0,\ \nabla g(\bm\theta)^\top\Sigma\,\nabla g(\bm\theta)\bigr)\tag{13.18}$

が成り立つ。

証明

次のように $r$ を定める。

$r(\bm h)=\frac{g(\bm\theta+\bm h)-g(\bm\theta)-\nabla g(\bm\theta)^\top\bm h}{\left\vert \bm h\right\vert }\quad(\bm h\ne\bm0),\qquad r(\bm0)=0$

微分可能性から $r$ は $\bm0$ で連続で、

$g(\bm\theta+\bm h)-g(\bm\theta)=\nabla g(\bm\theta)^\top\bm h+\left\vert \bm h\right\vert r(\bm h)$

である。 $\bm W_n=\sqrt n(\bm T_n-\bm\theta)$ と置くと

$\sqrt n\bigl(g(\bm T_n)-g(\bm\theta)\bigr)=\nabla g(\bm\theta)^\top\bm W_n+\left\vert \bm W_n\right\vert \,r(\bm T_n-\bm\theta)$

である。

$\bm W\sim\mathrm N_d(\bm0,\Sigma)$ とする。第1項は定理 13.15 の $\Rightarrow$ から $\nabla g(\bm\theta)^\top\bm W$ に分布収束する。その分布は $\mathrm N(0,\nabla g^\top\Sigma\nabla g)$ である。

$\left\vert \bm W_n\right\vert$ は連続写像 (13.12) で $\left\vert \bm W\right\vert$ に分布収束するので、緊密である。各成分に補題 13.18 を使うと、 $\bm T_n-\bm\theta$ の各成分は 0 に確率収束する。したがって

$P(\left\vert \bm T_n-\bm\theta\right\vert \ge\eta)\le\sum_jP\Bigl(\left\vert T_n^{(j)}-\theta^{(j)}\right\vert \ge\frac\eta{\sqrt d}\Bigr)\to0$

である。あとは定理 13.19 の証明と同じ順に進めばよい。

$r(\bm T_n-\bm\theta)\xrightarrow{P}0$ を示す。
第2項が 0 に確率収束することを示す。
和の極限が第1項の極限に等しいことを示す。

例題 13.6　標本分散の近似分布 ★★

オリジナル $X_1,X_2,\dots$ を独立同分布で $E[X_1^4]<\infty$ とし、次のように置く。

$\mu=E[X_1],\qquad\sigma^2=V[X_1]>0,\qquad\mu_4=E[(X_1-\mu)^4],\qquad\hat\sigma_n^2=\frac1n\sum_{k=1}^n(X_k-\bar X_n)^2$

(1) $\sqrt n(\hat\sigma_n^2-\sigma^2)\xrightarrow{d}\mathrm N(0,\mu_4-\sigma^4)$ を示せ。
(2) $X_1\sim\mathrm N(\mu,\sigma^2)$ と $X_1\sim\mathrm{Ex}(1)$ の場合に、極限の分散を求めよ。
(3) 不偏分散 $s_n^2=\frac{n}{n-1}\hat\sigma_n^2$ についても同じ極限分布になることを示せ。

解答

(1) 各 $X_k$ から定数 $\mu$ を引いても偏差は変わらないので、標本分散は変わらない。そこで $\mu=0$ としてよい。このとき $\sigma^2=E[X_1^2]$ 、 $\mu_4=E[X_1^4]$ である。 $\bm X_k=(X_k,X_k^2)^\top$ は独立同分布で、平均は $\bm\theta=(0,\sigma^2)^\top$ である。共分散行列は

$\Sigma=\begin{pmatrix}\sigma^2&E[X_1^3]\\E[X_1^3]&\mu_4-\sigma^4\end{pmatrix}$

である。定理 13.16 から $\sqrt n(\bar{\bm X}_n-\bm\theta)\xrightarrow{d}\mathrm N_2(\bm0,\Sigma)$ となる。 $g(a,b)=b-a^2$ と置くと、次のように書ける。

$\hat\sigma_n^2=\frac1n\sum X_k^2-\bar X_n^2=g(\bar{\bm X}_n),\qquad\nabla g(\bm\theta)=(-2\cdot0,\ 1)^\top=(0,1)^\top$

定理 13.20 から、極限は

$\mathrm N\bigl(0,\ (0,1)\Sigma(0,1)^\top\bigr)=\mathrm N(0,\mu_4-\sigma^4)$

となる。

(2) 2つの場合を順に見る。

正規分布。 $\mu_4=3\sigma^4$ なので、極限の分散は $2\sigma^4$ である。
$\mathrm{Ex}(1)$ 。 $\sigma^2=1$ である。キュムラントは $\kappa_2=1$ 、 $\kappa_4=6$ なので（第8章 §8.4）、平均まわりの4次モーメントは

$\mu_4=\kappa_4+3\kappa_2^2=9$

である。極限の分散は $9-1=8$ である。

$\mathrm{Ex}(1)$ の値は正規分布の4倍であり、裾の厚い分布ほど分散の推定がばらつくことを示す。

(3) 2つの推定量の差は

$\sqrt n(s_n^2-\hat\sigma_n^2)=\frac{\sqrt n}{n-1}\,\hat\sigma_n^2$

である。 $\hat\sigma_n^2\xrightarrow{P}\sigma^2$ （補題 13.18）と $\sqrt n/(n-1)\to0$ から、この差は 0 に確率収束する。Slutsky の定理から、次の和は (1) と同じ極限に分布収束する。

$\sqrt n(s_n^2-\sigma^2)=\sqrt n(\hat\sigma_n^2-\sigma^2)+\sqrt n(s_n^2-\hat\sigma_n^2)$

微分係数が 0 のとき

$g'(\theta)=0$ なら定理 13.19 の極限は定数 0 で、 $\sqrt n$ の拡大では足りない。このときは2次の項が主になり、拡大率は $n$ になる。

命題 13.21（2次のデルタ法）

$\sqrt n(T_n-\theta)\xrightarrow{d}\mathrm N(0,\sigma^2)$ とする。 $g$ は $\theta$ で2回微分可能で、そこでの微分係数が 0 であるとする。このとき

$n\bigl(g(T_n)-g(\theta)\bigr)\xrightarrow{d}\frac{g''(\theta)}{2}\sigma^2\chi^2_1\tag{13.19}$

が成り立つ（右辺は $Z\sim\mathrm N(0,1)$ について $\frac{g''(\theta)}2\sigma^2Z^2$ の分布）。

証明

Taylor の定理（Peano の剰余）から、次のように書ける。

$g(\theta+h)-g(\theta)=\frac{g''(\theta)}{2}h^2+h^2r(h),\qquad r(h)\to0\ (h\to0),\qquad r(0)=0$

$W_n=\sqrt n(T_n-\theta)$ と置くと

$n\bigl(g(T_n)-g(\theta)\bigr)=\frac{g''(\theta)}{2}W_n^2+W_n^2\,r(T_n-\theta)$

である。連続写像定理から $W_n^2\xrightarrow{d}\sigma^2Z^2$ で、 $W_n^2$ は緊密である。また $r(T_n-\theta)\xrightarrow{P}0$ なので、定理 13.19 の証明と同じ議論で結論を得る。

確認テスト

オリジナル

13.4-1 $X_1,X_2,\dots$ を独立同分布とし、平均 0、分散 $\sigma^2>0$ とする。 $g(x)=x^2$ と置く。 $\sqrt n\,g(\bar X_n)$ と $n\,g(\bar X_n)$ の極限分布をそれぞれ求めよ。 $P(n\bar X_n^2\le3.84\sigma^2)$ の極限も求めよ。
13.4-2 独立な $\mathrm{Ex}(\lambda)$ の標本から、レートを $\hat\lambda_n=1/\bar X_n$ で推定する。 $\sqrt n(\hat\lambda_n-\lambda)$ と $\sqrt n(\log\hat\lambda_n-\log\lambda)$ の極限分布を求めよ。 $n=100$ 、 $\bar X=0.5$ のとき、両方の方法でレートの近似 95% 区間を作れ。
13.4-3 二項の相対頻度 $\hat p_n$ について、 $g(p)=\arcsin\sqrt p$ が分散安定化変換であることを示せ。すなわち次を示せ。

$2\sqrt n\bigl(g(\hat p_n)-g(p)\bigr)\xrightarrow{d}\mathrm N(0,1)$

$n=100$ 、 $\hat p=0.36$ のとき、この変換で成功確率の近似 95% 区間を作れ。4. 13.4-4 補題 13.18 を、Slutsky の定理を使わずに、 $\sqrt n(T_n-\theta)$ の緊密性だけから直接示せ。

木下の勉強ステータス

木下はまだこの記事を勉強していません。

AI（Claude）が書いた教材を、木下が勉強しながら公開しています。式と数値は検算していますが、誤りが残っているかもしれません。誤りのご指摘・削除のご依頼をいただければ直します。連絡先：support@tecktom.com

この記事が含まれている連載

連載AI生成教科書『基礎理論』量子力学・統計熱力学・信号処理などの入門を、分野ごとに AI（Claude）が書き、木下が勉強しながら公開しています。上の段は AI が書いた本文、下の段は木下が勉強したあとに書いた文です。961本の記事・木下智貴

← AI生成教科書『基礎理論』の記事一覧へ