信頼区間の構成方法

数理統計　第8章 §8.2　★★★ 枢軸量・検定の反転・漸近正規性の3つの作り方。1級で区間を求めさせる小問はこのどれかで解ける

枢軸量による方法

前節の正規平均の例では、標本平均と母数を組み合わせた $Z=\sqrt n(\bar X-\mu)/\sigma$ の分布が $\mu$ によらないという性質を使った。これを一般化する。

証明

$C$ の定義から、次の2つは同じ事象である。

$$\{\theta\in C(\bm X)\}=\{q_1\le Q(\bm X,\theta)\le q_2\}$$

後者の確率は、真の値のもとでの $Q(\bm X,\theta)$ の分布で計算される。その分布は母数によらないので、確率は $1-\alpha$ に等しい。

$Q$ が母数について狭義増加なら、逆関数 $Q^{-1}(\bm x,\cdot)$ を使って次のように書ける。

$$q_1\le Q(\bm x,\theta)\le q_2\iff Q^{-1}(\bm x,q_1)\le\theta\le Q^{-1}(\bm x,q_2)$$

これは区間である。狭義減少なら端点が入れ替わる。

この定理で答案の型が決まる。手順は次の3段である。

1. (i) 母数を含み分布が既知の量 $Q$ を見つける。ほとんどの場合、第5章の標本分布の結果を引くことに当たる。
2. (ii) $Q$ の分布の分位点で、確率 $1-\alpha$ の区間を作る。
3. (iii) 不等式を $\theta$ について解く。

以下、1級で使う枢軸量を並べる。

正規母集団の平均（分散未知）。

第5章 §5.2 で示したとおり、$\mathrm{N}(\mu,\sigma^2)$ の標本では標本平均と不偏分散が独立で、$(n-1)S^2/\sigma^2\sim\chi^2_{n-1}$ である。したがって

$$T=\frac{\sqrt n(\bar X-\mu)}{S}=\frac{\sqrt n(\bar X-\mu)/\sigma}{\sqrt{\dfrac{(n-1)S^2/\sigma^2}{n-1}}}\sim t_{n-1}$$

であり、$T$ の分布は2つの母数のどちらにもよらない。次の式を $\mu$ について解く。

$$P\bigl(-t_{n-1}(\alpha/2)\le T\le t_{n-1}(\alpha/2)\bigr)=1-\alpha$$

すると区間

$$\Bigl[\bar X-t_{n-1}(\alpha/2)\frac{S}{\sqrt n},\ \bar X+t_{n-1}(\alpha/2)\frac{S}{\sqrt n}\Bigr].\tag{8.4}$$

を得る。母標準偏差を標本の値で置き換えた代償として、分位点が $z_{\alpha/2}$ から $t$ 分布の分位点へ大きくなる。たとえば $n=9$ では $t_8(0.025)=2.306$ で、1.960 より大きい。

正規母集団の分散。

$Q=(n-1)S^2/\sigma^2\sim\chi^2_{n-1}$ は $\sigma^2$ について狭義減少である。次の式を $\sigma^2$ について解く。

$$P\bigl(\chi^2_{n-1}(1-\alpha/2)\le Q\le\chi^2_{n-1}(\alpha/2)\bigr)=1-\alpha$$

すると区間

$$\Bigl[\frac{(n-1)S^2}{\chi^2_{n-1}(\alpha/2)},\ \frac{(n-1)S^2}{\chi^2_{n-1}(1-\alpha/2)}\Bigr].\tag{8.5}$$

を得る。分母の大きい分位点が下端に来る。$\chi^2$ 分布は左右対称でないので、この区間は $S^2$ を中心に対称でない。

2標本：平均の差と分散の比。

2つの標本が互いに独立で、次に従うとする。

$$X_1,\dots,X_m\sim\mathrm{N}(\mu_1,\sigma_1^2),\qquad Y_1,\dots,Y_n\sim\mathrm{N}(\mu_2,\sigma_2^2)$$

それぞれの不偏分散を $S_1^2,S_2^2$ とする。等分散 $\sigma_1^2=\sigma_2^2=\sigma^2$ を仮定し、併合分散を次で定める。

$$S_p^2=\frac{(m-1)S_1^2+(n-1)S_2^2}{m+n-2}$$

$\chi^2$ の再生性から $(m+n-2)S_p^2/\sigma^2\sim\chi^2_{m+n-2}$ である。これは次の平均の差と独立である。

$$\bar X-\bar Y\sim\mathrm{N}\bigl(\mu_1-\mu_2,\ \sigma^2(1/m+1/n)\bigr)$$

よって

$$T=\frac{(\bar X-\bar Y)-(\mu_1-\mu_2)}{S_p\sqrt{1/m+1/n}}\sim t_{m+n-2}$$

が枢軸量になり、平均の差 $\mu_1-\mu_2$ の区間は次になる。

$$\bar X-\bar Y\pm t_{m+n-2}(\alpha/2)\,S_p\sqrt{1/m+1/n}$$

分散の比については、$\chi^2$ の比の定義から

$$F=\frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2}\sim F_{m-1,n-1}$$

が枢軸量で、$F$ は $\sigma_1^2/\sigma_2^2$ について狭義減少である。分位点の関係

$$F_{m,n}(1-\alpha)=\frac{1}{F_{n,m}(\alpha)}$$

を使うと

$$\frac{\sigma_1^2}{\sigma_2^2}\in\Bigl[\frac{S_1^2/S_2^2}{F_{m-1,n-1}(\alpha/2)},\ \frac{S_1^2}{S_2^2}\,F_{n-1,m-1}(\alpha/2)\Bigr].\tag{8.6}$$

下側の分位点の関係は、$F\sim F_{m,n}$ なら $1/F\sim F_{n,m}$ であることから次のように書き直して得られる。

$$P\bigl(F\le F_{m,n}(1-\alpha)\bigr)=\alpha\iff P\bigl(1/F\ge1/F_{m,n}(1-\alpha)\bigr)=\alpha$$

指数分布とガンマ分布。

$X_1,\dots,X_n$ を $\mathrm{Ex}(\lambda)$ からの標本とする。密度は正の範囲で $\lambda\mathrm{e}^{-\lambda x}$ である。積率母関数を順に計算する。

$$\begin{aligned}E[\mathrm{e}^{t\lambda X_i}]&=\int_0^\infty\lambda\mathrm{e}^{-(\lambda-t\lambda)x}\,\mathrm{d} x=(1-t)^{-1}\quad(t<1) &&\text{（$\lambda X_i\sim\mathrm{Ex}(1)$）}\\ E[\mathrm{e}^{t\cdot2\lambda X_i}]&=(1-2t)^{-1}=(1-2t)^{-2/2} &&\text{（}{\chi^2_2}\text{ の積率母関数）}\end{aligned}$$

独立な和をとれば積率母関数は積になるので

$$2\lambda\sum_{i=1}^n X_i\sim\chi^2_{2n}\tag{8.7}$$

が成り立ち、これが $\lambda$ の枢軸量になる。母数について狭義増加なので、

$$\lambda\in\Bigl[\frac{\chi^2_{2n}(1-\alpha/2)}{2\sum X_i},\ \frac{\chi^2_{2n}(\alpha/2)}{2\sum X_i}\Bigr],\qquad \mu=\frac1\lambda\in\Bigl[\frac{2\sum X_i}{\chi^2_{2n}(\alpha/2)},\ \frac{2\sum X_i}{\chi^2_{2n}(1-\alpha/2)}\Bigr]$$

を得る。平均 $\mu=1/\lambda$ の区間は、$\lambda$ の区間の端点の逆数をとって並べ替えたものである。母数の単調な変換に対して、信頼区間は端点を写すだけで変換できる（被覆の事象が同じだから）。

一様分布。

$X_i\sim\mathrm{U}(0,\theta)$ とし、最大値を $M=\max X_i$ とおく。$0\le t\le1$ で次が成り立つ。

$$P(M/\theta\le t)=P(X_1\le t\theta)^n=t^n$$

である。よって $M/\theta$ の分布は母数によらない。密度は $nt^{n-1}$ で、ベータ分布 $\mathrm{Beta}(n,1)$ にあたる。$M/\theta\le1$ が常に成り立つので、上端を 1 にとる。

$$P(\alpha^{1/n}\le M/\theta\le1)=1-\alpha\quad\Longrightarrow\quad\theta\in[M,\ M\alpha^{-1/n}]$$

この形が同じ枢軸量から作れる区間の中で最短であることは確認テスト 8.3-3 で示す。

検定の反転による方法

枢軸量が見つからないときにも使える一般的な方法が、検定と信頼区間の双対性である。

証明

定義から、すべての $\theta_0$ と標本の値について次の同値が成り立つ。

$$\theta_0\in C(\bm x)\iff\bm x\in A(\theta_0)$$

真の値を $\theta$ とすると、$P_\theta(\theta\in C(\bm X))=P_\theta(\bm X\in A(\theta))\ge1-\alpha$ である。後半も同じ同値関係を逆向きに読めばよい。

信頼区間は「データを見て、そのデータで棄却されない $\theta_0$ を全部集めたもの」である。たとえば正規平均の $t$ 検定は、次のとき $H_0:\mu=\mu_0$ を受容する。

$$\lvert \frac{\sqrt n(\bar x-\mu_0)}{s}\rvert \le t_{n-1}(\alpha/2)$$

受容される $\mu_0$ の集合は、区間 (8.4) にそのまま一致する。第7章で作った検定は、すべてこの手続きで信頼区間に読み替えることができる。

二項分布の正確な区間（Clopper–Pearson）。

$X\sim\mathrm{Bin}(n,p)$ で $x$ を観測したとする。$H_0:p=p_0$ を両側の各裾 $\alpha/2$ で検定し、次のとき棄却する。

$$P_{p_0}(X\ge x)\le\alpha/2\quad\text{または}\quad P_{p_0}(X\le x)\le\alpha/2$$

反転すると、区間の両端は次の方程式の解になる。

• 下端 $p_L$：方程式 $P_{p_L}(X\ge x)=\alpha/2$ の解。ただし $x=0$ なら下端は 0 とする。
• 上端 $p_U$：方程式 $P_{p_U}(X\le x)=\alpha/2$ の解。ただし $x=n$ なら上端は 1 とする。

この方程式は次の補題でベータ分布の分位点に書き換えられる。

証明

左辺を $G(p)$ とおく。$x\ge1$ なので $G(0)=0$ で、右辺も 0 である。両辺を $p$ で微分して一致を示せばよい。

$$\frac{\mathrm{d}}{\mathrm{d} p}\binom nk p^k(1-p)^{n-k}=n\binom{n-1}{k-1}p^{k-1}(1-p)^{n-k}-n\binom{n-1}{k}p^k(1-p)^{n-k-1}$$

ここで2つの恒等式 $k\binom nk=n\binom{n-1}{k-1}$ と $(n-k)\binom nk=n\binom{n-1}{k}$ を使った。$k=n$ のとき第2項は 0 である。次のようにおく。

$$a_k=n\binom{n-1}{k-1}p^{k-1}(1-p)^{n-k}$$

すると第2項は $a_{k+1}$ なので、$k=x,\dots,n$ で和をとると隣り合う項が打ち消し合う。

$$\begin{aligned}G'(p)&=a_x-a_{n+1}=a_x &&\text{（$a_{n+1}=0$）}\\ &=\frac{n!}{(x-1)!(n-x)!}p^{x-1}(1-p)^{n-x}\end{aligned}$$

これは右辺の微分に等しい。

補題から両端は次のベータ分布の分位点になる。

• 下端は $\mathrm{Beta}(x,n-x+1)$ の下側 $\alpha/2$ 点である。
• 上端は $\mathrm{Beta}(x+1,n-x)$ の上側 $\alpha/2$ 点である。$P_p(X\le x)=1-P_p(X\ge x+1)$ に補題を使えばよい。

$X$ が離散なので被覆確率はちょうど $1-\alpha$ にはならず、それ以上になる（保守的な区間）。

漸近正規性による方法

正確な分布が求まらないときは、第5章の中心極限定理と第6章の最尤推定量の漸近正規性を使う。正則条件のもとで

$$\sqrt{n}\,(\hat\theta_{\mathrm{ML}}-\theta)\ \xrightarrow{d}\ \mathrm{N}\bigl(0,\ 1/I(\theta)\bigr)\tag{8.8}$$

であった。Fisher 情報量 $I$ が連続で最尤推定量が一致推定量なら、$I(\hat\theta_{\mathrm{ML}})\to I(\theta)$（確率収束）である。Slutsky の定理から次が成り立つ。

$$\sqrt{nI(\hat\theta_{\mathrm{ML}})}\,(\hat\theta_{\mathrm{ML}}-\theta)\ \xrightarrow{d}\ \mathrm{N}(0,1)$$

これを近似的な枢軸量として使うと、

$$\hat\theta_{\mathrm{ML}}\pm\frac{z_{\alpha/2}}{\sqrt{nI(\hat\theta_{\mathrm{ML}})}}\tag{8.9}$$

が漸近的に信頼係数 $1-\alpha$ の区間になる。これを Wald 型の区間と呼ぶ。

漸近的な区間には作り方の自由度が残る。

スコア型の区間は、$I(\theta)$ を推定値で置き換えずに母数のまま残し、次の不等式を $\theta$ について解いて作る。

$$\lvert \sqrt{nI(\theta)}(\hat\theta-\theta)\rvert \le z_{\alpha/2}$$

また、分散が母数によらなくなる変換 $g$ を先に施す方法もある。デルタ法（第5章）から

$$\sqrt n\bigl(g(\hat\theta)-g(\theta)\bigr)\ \xrightarrow{d}\ \mathrm{N}\bigl(0,\,g'(\theta)^2/I(\theta)\bigr)$$

なので、

$$g'(\theta)=\sqrt{I(\theta)}\tag{8.10}$$

を満たす $g$ を選ぶと漸近分散が 1 になる。これを分散安定化変換と呼ぶ。変換後の区間 $g(\hat\theta)\pm z_{\alpha/2}/\sqrt n$ を作り、逆変換で戻せばよい。代表例は次の2つである。

• ポアソン分布：$I(\lambda)=1/\lambda$ なので $g(\lambda)=2\sqrt\lambda$。
• 二項分布の成功確率：$I(p)=1/\{p(1-p)\}$ なので $g(p)=2\arcsin\sqrt p$。微分すると

$$\frac{\mathrm{d}}{\mathrm{d} p}2\arcsin\sqrt p=\frac{1}{\sqrt{p(1-p)}}$$

となり、条件 (8.10) を満たす。

極限分布が正規でない場合。

最尤推定量が漸近正規にならない非正則な模型でも、適切に基準化した統計量の極限分布が $\theta$ によらないなら、それを近似的な枢軸量に使える。典型は分布の台の端が母数で決まる模型である。最小値（または最大値）が $1/n$ の速さで母数に近づき、$n(\min X_i-\theta)$ が指数分布に収束する。次の例題でこの手続きを最後まで走らせる。

確認テスト

オリジナル

1. 8.2-1 $\mathrm{N}(\mu,\sigma^2)$ からの大きさ 9 の標本で $\bar x=4.8,\ s^2=1.44$ を得た（母数はともに未知）。$\mu$ と $\sigma^2$ のそれぞれの 95% 信頼区間を求めよ。
2. 8.2-2 $\mathrm{U}(0,\theta)$ からの大きさ 5 の標本で最大値 $M=3.2$ を得た。区間 $[M,\ M\alpha^{-1/n}]$ の信頼係数が $1-\alpha$ であることを確かめよ。また $\alpha=0.05$ の区間を求めよ。
3. 8.2-3 $\mathrm{Po}(\lambda)$ からの大きさ 30 の標本で $\sum x_i=72$ を得た。(a) Wald 型 $\bar X\pm z_{0.025}\sqrt{\bar X/n}$ と、(b) 分散安定化変換 $g(\lambda)=2\sqrt\lambda$ を使った区間を求めよ。(b) で $\sqrt{n}(2\sqrt{\bar X}-2\sqrt\lambda)$ の漸近分散が 1 になることも示せ。
4. 8.2-4 $X_1,\dots,X_n$ を $\mathrm{Ga}(k,\beta)$ からの標本とし、形状は既知の正の整数、尺度は未知とする。$2\sum X_i/\beta\sim\chi^2_{2nk}$ を積率母関数で示し、尺度の信頼係数 $1-\alpha$ の区間を作れ。$k=2,\ n=5,\ \sum x_i=18$ のときの 95% 区間を求めよ。
5. 8.2-5 独立な2つの正規標本で、$m=11,\ s_1^2=6.0,\ n=16,\ s_2^2=2.5$ を得た。$\sigma_1^2/\sigma_2^2$ の 95% 信頼区間を求めよ。この区間から、等分散の仮説「$\sigma_1^2=\sigma_2^2$」が有意水準 5% の両側 $F$ 検定で棄却されるかを判定せよ。