仮説検定の考え方

数理統計　第7章 §7.1　★★★ 検定関数・サイズ・検出力関数・$p$ 値の定義。以後のすべての計算の言葉

この章では、データから「ある仮説を捨てるかどうか」を決める手続きを、数学の言葉で組み立てる。仮説検定の答案で必要になる操作は、次の4種類にほぼ尽きる。

1. 検定を「棄却する確率を与える関数」として書き、サイズと検出力を計算する。
2. 正規母集団で $t$ 分布・カイ二乗分布・$F$ 分布を使う標準的な検定を、統計量の分布の導出から組み立てる。
3. 尤度比から検定統計量を作り、その漸近分布（Wilks の定理）で棄却域を決める。
4. Neyman–Pearson の基本定理から最強力検定を導き、離散分布では確率化（ランダム化）してサイズを指定の値に合わせる。

資格試験の数理の科目では、検定論は毎年1問程度の大問になり、小問は「サイズと検出力を求めよ」「最強力検定を導け」「尤度比検定統計量を導出せよ」の形で並ぶ。定理を覚えているだけでは点にならず、尤度を書いて比を取り、棄却域の形を決め、分布表の値でサイズを合わせる計算を最後まで走らせる必要がある。

この章ではそのための定理を証明つきで書き、各節の例題で1回ずつ通しで使う。

前の章から借りる結果を先に式で書いておく。$X_1,\dots,X_n$ が独立に $\mathrm{N}(\mu,\sigma^2)$ に従うとき、第5章 §5.2 で導いたとおり

$$\bar X\sim\mathrm{N}\!\left(\mu,\frac{\sigma^2}{n}\right),\qquad \frac{(n-1)S^2}{\sigma^2}\sim\chi^2_{n-1},\qquad \bar X\ \text{と}\ S^2\ \text{は独立}\tag{7.1}$$

が成り立つ。また $t$ 分布と $F$ 分布の定義から、次が成り立つ。

• $Z\sim\mathrm{N}(0,1)$ と $W\sim\chi^2_m$ が独立なら

$$\frac{Z}{\sqrt{W/m}}\sim t_m.$$

• $W_1\sim\chi^2_{m}$ と $W_2\sim\chi^2_{n}$ が独立なら

$$\frac{W_1/m}{W_2/n}\sim F_{m,n}.$$

第6章 §6.3 からは、正則条件のもとで最尤推定量が

$$\sqrt{n}\,(\hat\theta_{\mathrm{ML}}-\theta)\xrightarrow{\ d\ }\mathrm{N}\!\left(0,\frac{1}{I(\theta)}\right)\tag{7.2}$$

を満たすこと（漸近正規性）を借りる。

仮説と検定関数

データ $\bm{X}=(X_1,\dots,X_n)$ の分布が、ある族 $\{P_\theta\}$ のどれかであるとする。族の番号 $\theta$ はパラメータ空間 $\Theta$ を動く。パラメータ空間を互いに交わらない2つの部分 $\Theta_0$、$\Theta_1$ に分ける（和集合はパラメータ空間全体）。そのうえで

$$H_0:\ \theta\in\Theta_0\qquad\text{対}\qquad H_1:\ \theta\in\Theta_1$$

の2つの仮説を立てる。$H_0$ を帰無仮説、$H_1$ を対立仮説と呼ぶ。

$\Theta_0$ が1点だけからなる仮説を単純仮説、2点以上を含む仮説を複合仮説という。たとえば $\mathrm{N}(\mu,1)$ の族を考える。$H_0:\mu=0$ は単純仮説、$H_1:\mu>0$ は複合仮説である。

検定関数を使うと、棄却する確率は期待値で書ける。

検定が犯す誤りは2種類ある。

• 第1種の誤り：$\theta\in\Theta_0$ なのに $H_0$ を棄却する。その確率は $\Theta_0$ 上での $\beta(\theta)$ である。
• 第2種の誤り：$\theta\in\Theta_1$ なのに $H_0$ を棄却しない。その確率は $\Theta_1$ 上での $1-\beta(\theta)$ である。

2つの誤りの確率を同時に小さくすることは一般にはできない。棄却域を広げれば第2種の誤りは減るが、第1種の誤りが増える。

そこで仮説検定では、第1種の誤りの確率の上限 $\alpha$ を先に決める（0.05 や 0.01）。その制約のもとで、$\Theta_1$ 上の検出力 $\beta(\theta)$ をできるだけ大きくする検定を探す。

この非対称な扱いのため、「$H_0$ を棄却しない」という結論は「$H_0$ が正しいと示された」ことを意味しない。第2種の誤りの確率は制御していないので、棄却されなかったときに言えることは「データは $H_0$ と矛盾するとまでは言えない」ことだけである。

検定統計量と棄却域の形

実際の検定は、1つの統計量 $T(\bm{X})$（検定統計量）を作り、「$T\ge c$ なら棄却」のような形で書くことが多い。定数 $c$ を棄却限界（臨界値）と呼ぶ。$c$ は帰無仮説のもとでの $T$ の分布から、次を満たすように決める。

$$\sup_{\theta\in\Theta_0}P_\theta(T\ge c)\le\alpha .$$

正規分布の例で、サイズと検出力の計算を通しで見ておく。$X_1,\dots,X_n$ が独立に $\mathrm{N}(\mu,1)$ に従うとする。仮説 $H_0:\mu=0\ \text{対}\ H_1:\mu>0$ を、棄却域 $\{\bar X>c\}$ で検定する。$H_0$ のもとで $\sqrt{n}\,\bar X\sim\mathrm{N}(0,1)$ なので

$$P_0(\bar X>c)=P(Z>\sqrt{n}\,c)=\alpha\quad\Longleftrightarrow\quad c=\frac{z_\alpha}{\sqrt n}$$

である。ここで $Z\sim\mathrm{N}(0,1)$ とした。記号 $z_\alpha$ は標準正規分布の上側 $100\alpha\%$ 点を表す。一般の $\mu$ では $\sqrt n(\bar X-\mu)\sim\mathrm{N}(0,1)$ なので、検出力関数は

$$\beta(\mu)=P_\mu(\bar X>c)=P\!\left(Z>z_\alpha-\sqrt n\,\mu\right)=\Phi\!\left(\sqrt n\,\mu-z_\alpha\right)\tag{7.3}$$

となる。$\Phi$ は標準正規分布の分布関数である。

検出力関数 $\beta(\mu)$ は $\mu$ について増加する。原点では $\beta(0)=\alpha$ で、$\mu\to\infty$ で 1 に近づく。図 7.1 は、$n=16$、$\alpha=0.05$ の場合の2つの誤りを、標本平均の密度の上の面積として描いたものである。

$p$ 値

棄却するかどうかの二択だけでなく、データが $H_0$ からどれだけ外れているかを1つの数で報告したいことがある。

$c$ を水準 $\alpha$ の棄却限界とすると、次の2条件は同値になる。

$$t\ge c\quad\Longleftrightarrow\quad p(\bm{x})\le\alpha .$$

確率 $P_\theta(T\ge t)$ が $t$ について減少するためである。したがって「$p$ 値が $\alpha$ 以下なら棄却」と読み替えてよい。

$p$ 値は「帰無仮説が正しいとき、今回と同じかそれ以上に極端な値が出る確率」であり、「$H_0$ が正しい確率」ではない。$H_0$ が単純仮説で、検定統計量が連続分布に従うとする。このとき帰無仮説のもとで $p(\bm X)$ は一様分布 $\mathrm{U}(0,1)$ に従う（確認テスト 7.1-4）。

離散分布と確率化

離散分布では非確率化検定のサイズがとびとびになる。例として $X\sim\mathrm{Bin}(6,p)$ をとる。仮説 $H_0:p=1/2\ \text{対}\ H_1:p>1/2$ を水準 0.05 で検定するとき、帰無仮説のもとで

$$P(X=6)=\frac{1}{64}=0.0156,\qquad P(X\ge5)=\frac{7}{64}=0.1094$$

である。したがって非確率化検定はどちらもうまくいかない。

• $\{X=6\}$ を棄却域にすると、サイズは 0.0156 で 0.05 を大きく下回る。
• $\{X\ge5\}$ を棄却域にすると、サイズは 0.05 を超える。

そこで境目の $X=5$ でだけ、確率 $\gamma$ で棄却する確率化検定

$$\varphi(x)=\begin{cases}1&(x=6)\\ \gamma&(x=5)\\ 0&(x\le4)\end{cases},\qquad E_{1/2}[\varphi(X)]=\frac{1}{64}+\gamma\cdot\frac{6}{64}=0.05$$

を考える。サイズがちょうど 0.05 になる確率は

$$\gamma=\frac{0.05\cdot64-1}{6}=\frac{2.2}{6}=\frac{11}{30}\approx0.367$$

である。確率化は実務で使われることは少ない。しかし理論の上では「サイズ $\alpha$ の検定の中で最良のもの」を考えるために必要で、1級の検定の大問ではこの $\gamma$ の計算がよく問われる。

確認テスト

オリジナル

1. 7.1-1 サイズ 0.03 の検定は有意水準 0.05 の検定か。また、有意水準 0.05 の検定のサイズは必ず 0.05 か。理由をつけて答えよ。
2. 7.1-2 $X_1,X_2,X_3$ は独立に $\mathrm{Ex}(\lambda)$ に従う。仮説 $H_0:\lambda=1\ \text{対}\ H_1:\lambda<1$ を、有意水準 0.05 で検定する。棄却域は $\{X_1+X_2+X_3\ge c\}$ の形とする。$2\lambda\sum X_i\sim\chi^2_6$ を示したうえで $c$ を求めよ。また $\lambda=1/2$ での検出力を求めよ。
3. 7.1-3 1個の観測 $X\sim\mathrm{Po}(\lambda)$ で、仮説 $H_0:\lambda=1\ \text{対}\ H_1:\lambda>1$ を検定する。使う確率化検定は次のとおりとする。

$$\varphi(x)=\begin{cases}1&(x\ge4)\\ \gamma&(x=3)\\ 0&(x\le2)\end{cases}$$

サイズが 0.05 になる $\gamma$ を求め、$\lambda=2$ での検出力を求めよ。4. 7.1-4 $H_0$ は単純仮説とする。帰無仮説のもとで、検定統計量 $T$ の分布関数 $F$ は連続かつ狭義増加とする。検定は「$T\ge c$ なら棄却」の形とする。その $p$ 値は $p=1-F(T)$ と書ける。これが $H_0$ のもとで $\mathrm{U}(0,1)$ に従うことを示せ。