一元配置分散分析の手順

統計学の復習　第15章 §15.4　★★★ 平方和を群間 $S_A$ と群内 $S_e$ に分解し（交差項は群ごとの偏差の和が $0$ なので消える）、自由度 $k-1$ と $N-k$ で割った平均平方の比を $F_{k-1,N-k}$ の上側の点と比べる

データの構造式

1つの要因 $A$ に $k$ 個の水準 $A_1,\dots,A_k$ があり、水準 $A_i$ で $n_i$ 個のデータ $x_{i1},\dots,x_{in_i}$ を取る。データの総数を $N=n_1+\dots+n_k$ とする。このような実験を一元配置と呼ぶ。データは

$$x_{ij}=\mu+a_i+\varepsilon_{ij},\qquad \sum_{i=1}^kn_ia_i=0,\qquad \varepsilon_{ij}\sim\mathrm N(0,\sigma^2)\ \text{独立}\tag{15.9}$$

に従うとする。水準 $A_i$ の母平均は $\mu_i=\mu+a_i$ で、$\mu$ は全体の平均、$a_i$ は水準 $A_i$ の効果（全体の平均からのずれ）である。$\sum n_ia_i=0$ は $\mu$ を $\mu_i$ の重みつき平均と決める約束で、各水準の繰り返し数が等しい（$n_i=r$）ときは $\sum a_i=0$ になる。帰無仮説 $H_0:\mu_1=\dots=\mu_k$ は $H_0:a_1=\dots=a_k=0$ と同じである。誤差の分散 $\sigma^2$ がすべての水準で等しいことを、モデルの仮定に含めている。

水準ごとの平均を $\bar x_{i\cdot}=\frac1{n_i}\sum_jx_{ij}$、全体の平均を $\bar x=\frac1N\sum_i\sum_jx_{ij}$ と書く。添字の点は、その添字について平均したことを表す。

平方和の分解

各データの全体の平均からの偏差を、群の平均の偏差と群の中の偏差に分ける。

$$x_{ij}-\bar x=(\bar x_{i\cdot}-\bar x)+(x_{ij}-\bar x_{i\cdot}).$$

証明

右辺の和を2乗して展開すると、2乗の項の和と交差項 $2\sum_i\sum_j(\bar x_{i\cdot}-\bar x)(x_{ij}-\bar x_{i\cdot})$ が出る。交差項で $(\bar x_{i\cdot}-\bar x)$ は $j$ によらないので、$j$ についての和の外に出すことができ

$$\sum_{i=1}^k(\bar x_{i\cdot}-\bar x)\sum_{j=1}^{n_i}(x_{ij}-\bar x_{i\cdot})$$

となる。内側の和は、群 $i$ のデータの自分の群の平均からの偏差の和なので、$\sum_jx_{ij}-n_i\bar x_{i\cdot}=0$ である。したがって交差項は $0$ である。1つ目の2乗の項は $j$ によらないので、$j$ について和をとると $n_i$ 倍になり $S_A$ になる。

交差項が消えるのは、群の中の偏差が群ごとに和 $0$ になるという性質による。第9章で $\sum(X_i-\mu)^2$ を $\sum(X_i-\bar X)^2+n(\bar X-\mu)^2$ に分けたときと同じ形の議論である。自由度は、$S_T$ が $N$ 個の偏差に1本の制約（総和が $0$）があるので $\phi_T=N-1$、$S_A$ が $k$ 個の値 $\bar x_{i\cdot}-\bar x$ に1本の制約（$\sum n_i(\bar x_{i\cdot}-\bar x)=0$）があるので $\phi_A=k-1$、$S_e$ が $N$ 個の偏差に群ごとの $k$ 本の制約があるので $\phi_e=N-k$ である。$\phi_T=\phi_A+\phi_e$ が成り立つ。

平均平方の期待値

平方和を自由度で割ったものを平均平方と呼び、$V_A=S_A/\phi_A$、$V_e=S_e/\phi_e$ と書く。2つの期待値を求める。

証明

$S_e$：群 $i$ の $n_i$ 個のデータは独立に $\mathrm N(\mu_i,\sigma^2)$ に従うので、第9章の不偏分散の結果から $E\bigl[\sum_j(x_{ij}-\bar x_{i\cdot})^2\bigr]=(n_i-1)\sigma^2$ である。$i$ について足すと $E[S_e]=(N-k)\sigma^2$ で、$E[V_e]=\sigma^2$ である。

$S_A$：誤差の平均を $\bar\varepsilon_{i\cdot}=\frac1{n_i}\sum_j\varepsilon_{ij}$、$\bar\varepsilon=\frac1N\sum_i\sum_j\varepsilon_{ij}$ と書くと、$\bar x_{i\cdot}=\mu+a_i+\bar\varepsilon_{i\cdot}$ であり、$\sum n_ia_i=0$ から $\bar x=\mu+\bar\varepsilon$ である。したがって $\bar x_{i\cdot}-\bar x=a_i+(\bar\varepsilon_{i\cdot}-\bar\varepsilon)$ で

$$S_A=\sum_in_ia_i^2+2\sum_in_ia_i(\bar\varepsilon_{i\cdot}-\bar\varepsilon)+\sum_in_i(\bar\varepsilon_{i\cdot}-\bar\varepsilon)^2$$

となる。中央の項は期待値が $0$ である。最後の項は、$\sum_in_i\bar\varepsilon_{i\cdot}=N\bar\varepsilon$ を使って展開すると

$$\sum_in_i(\bar\varepsilon_{i\cdot}-\bar\varepsilon)^2=\sum_in_i\bar\varepsilon_{i\cdot}^2-2\bar\varepsilon\sum_in_i\bar\varepsilon_{i\cdot}+N\bar\varepsilon^2=\sum_in_i\bar\varepsilon_{i\cdot}^2-N\bar\varepsilon^2$$

である。$E[\bar\varepsilon_{i\cdot}^2]=V[\bar\varepsilon_{i\cdot}]=\sigma^2/n_i$、$E[\bar\varepsilon^2]=\sigma^2/N$ なので、期待値は $\sum_in_i\cdot\sigma^2/n_i-N\cdot\sigma^2/N=(k-1)\sigma^2$ である。以上から $E[S_A]=(k-1)\sigma^2+\sum n_ia_i^2$ で、$k-1$ で割ると式 (15.11) になる。

式 (15.11) から、$H_0$ が正しければ $V_A$ と $V_e$ はどちらも $\sigma^2$ の不偏推定量で、比 $F_0=V_A/V_e$ は $1$ の近くの値をとる。$H_0$ が誤りなら $V_A$ の期待値だけが $\sum n_ia_i^2/(k-1)$ だけ大きくなるので、$F_0$ は大きくなる。$F_0$ が小さくなる方向には $H_0$ に反する情報が無い。分散分析の $F$ 検定が右片側の検定になるのはこのためである。

$F_0$ の分布

証明（各水準の繰り返し数が等しい場合）

$n_i=r$（$N=kr$）とする。第11章の定理（正規標本では $\sum(X_i-\bar X)^2/\sigma^2\sim\chi^2_{n-1}$ で、$\bar X$ と $S^2$ は独立）を2回使う。

まず群 $i$ の中で使うと、$\sum_j(x_{ij}-\bar x_{i\cdot})^2/\sigma^2\sim\chi^2_{r-1}$ で、これは $\bar x_{i\cdot}$ と独立である。群どうしは独立なので、$\chi^2$ 分布の再生性から $S_e/\sigma^2\sim\chi^2_{k(r-1)}=\chi^2_{N-k}$ である。さらに $(\bar x_{1\cdot},\dots,\bar x_{k\cdot})$ 全体が $S_e$ と独立である。

次に、$H_0$ のもとで $\bar x_{1\cdot},\dots,\bar x_{k\cdot}$ は独立に $\mathrm N(\mu,\sigma^2/r)$ に従う大きさ $k$ の正規標本で、その標本平均は $\bar x$ である。もう一度第11章の定理を使うと

$$\frac{\sum_i(\bar x_{i\cdot}-\bar x)^2}{\sigma^2/r}=\frac{S_A}{\sigma^2}\sim\chi^2_{k-1}$$

である（$S_A=r\sum_i(\bar x_{i\cdot}-\bar x)^2$）。$S_A$ は群の平均だけの関数なので $S_e$ と独立である。$F_0=\{(S_A/\sigma^2)/(k-1)\}/\{(S_e/\sigma^2)/(N-k)\}$ と書くと、定義 15.1 から $F_0\sim F_{k-1,N-k}$ である。

繰り返し数が水準ごとに違う場合も定理は成り立つが、$S_A$ が $\chi^2$ に従うことを示すには、平方和を直交する方向の成分に分ける Cochran の定理が要る。証明は数理統計の解説 第9章 §9.5 で扱う。

計算の手順と分散分析表

手計算では、偏差を作らずに合計から平方和を出す。総合計を $T=\sum_i\sum_jx_{ij}$、水準 $A_i$ の合計を $T_i$ とし、修正項 $CT=T^2/N$ を作ると

$$S_T=\sum_i\sum_jx_{ij}^2-CT,\qquad S_A=\sum_i\frac{T_i^2}{n_i}-CT,\qquad S_e=S_T-S_A\tag{15.13}$$

である。1つ目は第2章の平行移動の公式 $\sum(x-\bar x)^2=\sum x^2-N\bar x^2$ で $N\bar x^2=T^2/N$ としたもの、2つ目は $S_A=\sum n_i\bar x_{i\cdot}^2-N\bar x^2$ に $\bar x_{i\cdot}=T_i/n_i$ を入れたものである。結果は次の分散分析表にまとめる。

2級の分散分析表の穴埋めでは、平方和と自由度がそれぞれ縦に足し算になることと、$F_0$ は群間を群内で割る（逆にしない）ことを使う。

2群の分散分析はプールした $t$ 検定と同じである

証明

$k=2$ では $S_A=\dfrac{n_1n_2}{n_1+n_2}(\bar x_{1\cdot}-\bar x_{2\cdot})^2$ である（確認テスト 15.4-3）。$\phi_A=1$ なので $V_A=S_A$ である。$S_e$ は2群の偏差平方和の合計、$\phi_e=n_1+n_2-2$ なので、$V_e$ は第10章のプールした分散 $s_p^2$ そのものである。したがって

$$F_0=\frac{n_1n_2(\bar x_{1\cdot}-\bar x_{2\cdot})^2}{(n_1+n_2)\,s_p^2}=\frac{(\bar x_{1\cdot}-\bar x_{2\cdot})^2}{s_p^2(1/n_1+1/n_2)}=t^2$$

である。

定理 15.3 (3) から $t_{\phi_e}(\alpha/2)^2=F_{1,\phi_e}(\alpha)$ なので、2群の分散分析（右片側）と両側の $t$ 検定は、同じデータに対して同じ結論を出す。分散分析は、プールした $t$ 検定を3群以上へ広げたものである。

分散分析のあとの推定

$H_0$ が棄却されたら、各水準の母平均を推定する。$\mu_i$ の点推定値は $\bar x_{i\cdot}$ で、その分散 $\sigma^2/n_i$ の $\sigma^2$ は、群 $i$ のデータだけでなく全部の群をまとめた $V_e$（自由度 $\phi_e=N-k$）で推定する。第10章の $t$ 区間と同じ手順で

$$\mu_i:\ \bar x_{i\cdot}\pm t_{\phi_e}(\alpha/2)\sqrt{\frac{V_e}{n_i}},\qquad \mu_i-\mu_{i'}:\ (\bar x_{i\cdot}-\bar x_{i'\cdot})\pm t_{\phi_e}(\alpha/2)\sqrt{V_e\left(\frac1{n_i}+\frac1{n_{i'}}\right)}\tag{15.14}$$

が信頼係数 $1-\alpha$ の区間になる。自由度が $n_i-1$ でなく $N-k$ になる分だけ、群 $i$ だけから作る区間より $t$ の点が小さく、区間は短くなる。複数の差の区間を同時に主張するときは、§15.3 の Bonferroni の方法で $\alpha$ を組の数で割る。

確認テスト

オリジナル

1. 15.4-1 4つの水準でそれぞれ6個のデータを取った一元配置で、$S_T=120$、$S_A=45$ であった。分散分析表を完成させ、有意水準 $5\%$ で検定せよ（$F_{3,20}(0.05)=3.098$）。
2. 15.4-2 繰り返し数が異なる次のデータで一元配置の分散分析を行い、有意水準 $5\%$ と $1\%$ で検定せよ（$F_{2,7}(0.05)=4.737$、$F_{2,7}(0.01)=9.547$）。$A_1$：$5,\ 7,\ 6$ ／ $A_2$：$8,\ 9,\ 10,\ 9$ ／ $A_3$：$6,\ 8,\ 7$
3. 15.4-3 $k=2$ のとき $S_A=\dfrac{n_1n_2}{n_1+n_2}(\bar x_{1\cdot}-\bar x_{2\cdot})^2$ を示せ。
4. 15.4-4 モデル (15.9) で、$H_0$ が正しいときの $F_0$ の期待値を求めよ。$N=15$、$k=3$ のとき、それは $1$ より大きいか。