分散分析の考え方と検定の多重性

統計学の復習　第15章 §15.3　★★ 3群以上の平均を $t$ 検定の繰り返しで比べると、どこかで誤る確率が $\alpha$ を大きく超える。分散分析は「全部の平均が等しい」を1回の $F$ 検定で調べる

$t$ 検定を繰り返すと何が起こるか

$k$ 個の群の母平均 $\mu_1,\dots,\mu_k$ が等しいかを調べたいとする。2群ずつ組にして $t$ 検定をすると、組の数は $m=\binom k2=k(k-1)/2$ である。1回ごとの有意水準を $\alpha$ にしても、$m$ 回の中で1回でも誤って棄却する確率（ファミリーワイズの誤り率と呼ぶ）は $\alpha$ より大きくなる。$A_j$ を「$j$ 番目の検定で誤って棄却する」という事象とする。全部の平均が等しいとき $P(A_j)=\alpha$ で、もし $m$ 個の検定が独立なら

$$P(A_1\cup\dots\cup A_m)=1-P(A_1^c\cap\dots\cap A_m^c)=1-(1-\alpha)^m$$

である。$k=3$ なら $m=3$ で $1-0.95^3=0.143$、$k=5$ なら $m=10$ で $1-0.95^{10}=0.401$ になる。

実際には、同じ群を含む2つの検定は独立でないので、この値は目安である。どんな依存関係があっても成り立つ上からの評価として、次の不等式がある。

この不等式から、ファミリーワイズの誤り率は $m\alpha$ 以下である。逆に、1回ごとの有意水準を $\alpha/m$ にすれば全体の誤り率を $\alpha$ 以下に抑えることができる。これを Bonferroni の方法と呼ぶ。ただし $m$ が大きいと1回ごとの水準が厳しくなりすぎ、本当にある差を見逃しやすくなる。

各群 $10$ 個の正規標本で、全部の母平均が等しいとき、すべての組にプールした $t$ 検定（有意水準 $5\%$）を行うことを、乱数の種を固定して10万回くり返した。どこかで誤って棄却した割合は、$k=3$ で約 $12\%$、$k=4$ で約 $20\%$、$k=5$ で約 $29\%$ であった。独立を仮定した値（$14\%$・$26\%$・$40\%$）より小さいのは、同じ群を含む検定どうしに正の相関があるからだが、どれも名目の $5\%$ を大きく超える。

分散分析の発想

分散分析（analysis of variance、ANOVA）は、組ごとに検定する代わりに、帰無仮説

$$H_0:\ \mu_1=\mu_2=\dots=\mu_k$$

を1回の検定で調べる。1回なので、第1種の誤りの確率はそのまま $\alpha$ である。

平均の違いを、なぜ「分散」で調べるのか。$H_0$ が正しければ、群の平均 $\bar x_{1\cdot},\dots,\bar x_{k\cdot}$ のばらつきは、各群の中の誤差のばらつきから予想される程度に収まるはずである。群の平均どうしのばらつき（群間変動）が、群の中のばらつき（群内変動）から見て大きすぎれば、$H_0$ を疑う。2つのばらつきをそれぞれ不偏分散の形に直してから比をとると、その比が $H_0$ のもとで $F$ 分布に従う。これが分散分析の $F$ 検定である。

分散分析で $H_0$ が棄却されても、分かるのは「どこかの群の平均が違う」ことだけで、どの群とどの群が違うかは分からない。それを調べるのが多重比較で、Bonferroni の方法はその最も単純なものである。2級では「分散分析で棄却されれば、どの群が違うかまで分かる」という文の誤りを見抜く問題が出る。

確認テスト

オリジナル

1. 15.3-1 6群の平均を2群ずつすべての組で比べる。組の数・Bonferroni の上限・検定が独立なときの誤り率（各 $5\%$）を求めよ。
2. 15.3-2 $0<\alpha<1$、$m\ge1$ について $1-(1-\alpha)^m\le m\alpha$ を、$m$ についての帰納法で示せ。
3. 15.3-3 5群のすべての組を Bonferroni の方法で比べ、全体の誤り率を $5\%$ 以下にしたい。1回ごとの有意水準を求めよ。
4. 15.3-4 次の文の正誤を答えよ。(a) 一元配置分散分析で $H_0$ が棄却されたので、すべての群の母平均が互いに異なると結論した。(b) 3群の比較で $t$ 検定を3回行うより、分散分析を1回行う方が、第1種の誤りの確率を名目どおりに保つことができる。