仮説検定で使う用語

統計学の復習　第12章 §12.2　★★★ $p$ 値は $H_0$ のもとでの裾の確率で、$H_0$ が正しい確率ではない。$p\le\alpha$ と「統計量が棄却域に入る」は同じ判定である

用語の定義

検定の材料を、§12.1 の手順の順に名前で呼ぶ。

「採択」という語を使うが、採択域に入ったことは $H_0$ が正しいと認めたことを意味しない。§12.1 で見たとおり、棄却しなかったときに言えるのは「$H_0$ と矛盾するとはいえない」ことだけである。

$p$ 値

棄却域に入るかどうかの二択の代わりに、観測値の珍しさを1つの数で表すのが $p$ 値である。

$T$ が連続型の確率変数なら $P_{H_0}(T=t_{\mathrm{obs}})=0$ であり、観測値1点の確率では珍しさを測ることができない。定義の「同じかそれ以上に極端な」という部分は、1点でなく裾全体の確率を取るために必要な部分で、これによって $p$ 値は正の値になる。両側の $p$ 値が片側の2倍になるのは、極端と認める領域が左右に2つあるからである。

(1) は、同じ判定に2つの書き方があり、不等号の向きが逆になることを述べている。統計量はずれの大きさなので「臨界値を超えたら棄却」、$p$ 値は珍しさの確率なので「$\alpha$ を下回ったら棄却」である。両方を計算した問題では、2つの判定が一致することで検算することができる。(2) は、$p$ 値で判定する規則の第1種の過誤の確率が、宣言した $\alpha$ にちょうど等しいことを保証している。

$p$ 値は $H_0$ が正しい確率ではない

$p$ 値を「$H_0$ が正しい確率」と読むのは誤りである。理由は2つある。

第一に、条件の向きが逆である。$p$ 値は「$H_0$ が正しいという条件のもとで、データがこれ以上に極端になる確率」であり、確率が載っているのはデータの側で、条件になっているのが $H_0$ である。「$H_0$ が正しい確率」は「データという条件のもとで $H_0$ が成り立つ確率」で、条件と対象が入れ替わっている。第3章で見たとおり $P(A\mid B)$ と $P(B\mid A)$ は一般に異なる。

第二に、この章の枠組みでは母数 $\mu$ は未知の定数で、$\mu=200$ は真か偽のどちらかに決まっている。確率変数なのは標本の側だけなので、「$H_0$ が正しい確率」という量はそもそも定義されない。これは第10章で「$95\%$ 信頼区間が $\mu$ を含む確率が $0.95$」と読むのが誤りであったのと同じ構造である。

仮に $H_0$ が正しい確率 $\pi_0$ を外から与えれば、第3章の Bayes の定理で「棄却したときに $H_0$ が正しかった確率」を計算することはできる。対立仮説のもとでの棄却の確率（§12.3 の検出力）を $1-\beta$ とすると

$$P(H_0\text{ が正しい}\mid\text{棄却})=\frac{\alpha\,\pi_0}{\alpha\,\pi_0+(1-\beta)(1-\pi_0)}\tag{12.1}$$

である。右辺には $p$ 値でも $\alpha$ だけでもなく、$\pi_0$ と検出力が入っている。データから得た $p$ 値だけでは、$H_0$ が正しい確率は決まらない。母数を確率変数として扱う Bayes 統計の立場は数理統計の解説 第10章で扱う。

確認テスト

オリジナル

1. 12.2-1 次の文の正誤を答え、誤りなら理由を述べよ。(a) $p$ 値が $0.03$ なら、$H_0$ が正しい確率は $3\%$ である。(b) $p$ 値が小さいほど、データは $H_0$ に反する。(c) 有意水準は、$p$ 値を見てから結論が出るように決めてよい。(d) 両側検定で $p=0.03$ なら、有意水準 $5\%$ では棄却し、$1\%$ では棄却しない。
2. 12.2-2 母分散既知の $z$ 検定で $z_{\mathrm{obs}}=-1.8$ であった（$\Phi(1.8)=0.96407$）。$H_1:\mu\ne\mu_0$ のときと $H_1:\mu<\mu_0$ のときの $p$ 値をそれぞれ求めよ。
3. 12.2-3 式 (12.1) で $\alpha=0.05$、検出力 $1-\beta=0.5$、$\pi_0=0.8$ とするとき、棄却したときに $H_0$ が正しかった確率を求めよ。
4. 12.2-4 $Z\sim\mathrm N(0,1)$ のとき、両側の $p$ 値 $P=2\{1-\Phi(\lvert Z\rvert )\}$ が $\mathrm U(0,1)$ に従うことを示せ。