分散分析と変量効果モデル

数理統計　第9章 §9.5　★★ 一元配置を線形モデルとして $F$ 検定を導き、期待平均平方から変量効果の分散成分を推定する

一元配置の分散分析は線形モデル

$k$ 個の群（処理）があるとする。群 $i$ の観測を $Y_{i1},\dots,Y_{in_i}$ とする。全観測数を $N=\sum n_i$ とする。モデル

$$Y_{ij}=\mu_i+\varepsilon_{ij},\qquad \varepsilon_{ij}\ \text{は独立に}\ \mathrm{N}(0,\sigma^2)\tag{9.17}$$

は、群の指示変数を列にもつ $N\times k$ の計画行列による線形モデルである。$X^\top X=\mathrm{diag}(n_1,\dots,n_k)$ なので、推定値は群平均 $\hat\mu_i=\bar Y_{i\cdot}$ である。残差平方和は群内平方和

$$S_e=\sum_{i=1}^k\sum_{j=1}^{n_i}(Y_{ij}-\bar Y_{i\cdot})^2,\qquad S_e/\sigma^2\sim\chi^2_{N-k}$$

である（定理 9.6 で $p=k$）。帰無仮説 $H_0:\mu_1=\dots=\mu_k$ のモデルは切片だけのモデルである。その残差平方和は総平方和 $S_T=\sum\sum(Y_{ij}-\bar Y)^2$ である。差 $S_A=S_T-S_e$ は

$$S_A=\sum_{i=1}^kn_i(\bar Y_{i\cdot}-\bar Y)^2$$

で（確認テスト 9.5-1）、群間平方和と呼ばれる。定理 9.7（$q=k-1$）から、$H_0$ のもとで

$$F_0=\frac{S_A/(k-1)}{S_e/(N-k)}=\frac{V_A}{V_e}\sim F_{k-1,\,N-k}\tag{9.18}$$

を得る。これが分散分析の $F$ 検定である。分散分析表は、次の2つの分解を並べた表である。

$$S_T=S_A+S_e,\qquad N-1=(k-1)+(N-k) .$$

二元配置や直交配列表の解析も、計画行列を変えて同じ定理を使ったものであり、手順の詳細は実験計画法の解説で扱う。

$H_0$ が成り立たないときの $S_A$ の期待値は、

$$E[S_A]=(k-1)\sigma^2+\sum_{i=1}^kn_i(\mu_i-\bar\mu)^2,\qquad \bar\mu=\frac1N\sum_{i=1}^kn_i\mu_i\tag{9.19}$$

である（確認テスト 9.5-2）。$V_e$ の期待値は $\sigma^2$ である。よって $F_0$ が1より大きく出ることは、群間の差の証拠になる。

変量効果モデル

群が「たまたま選ばれた製造ロット」や「無作為に選んだ測定者」のように、もっと大きな母集団から抽出されたものであることがある。知りたいものが個々のロットの平均ではなくロット間のばらつきの大きさであるときは、群ごとの効果を固定した母数ではなく確率変数とみなす。各群の観測数がそろっている（$n_i=n$）場合を扱う。

このモデルでは $V[Y_{ij}]=\sigma_A^2+\sigma^2$ である。同じ群の2つの観測は相関をもつ。

$$\mathrm{Cov}(Y_{ij},Y_{ij'})=\sigma_A^2\quad(j\neq j'),\qquad \rho_I=\frac{\sigma_A^2}{\sigma_A^2+\sigma^2} .$$

この相関係数 $\rho_I$ を級内相関係数という（確認テスト 9.5-3）。

証明

群平均は $\bar Y_{i\cdot}=\mu+A_i+\bar\varepsilon_{i\cdot}$ である。これらは群ごとに独立に $\mathrm{N}(\mu,\sigma_A^2+\sigma^2/n)$ に従う。正規標本の標本分散の定理（第5章 §5.2）を $k$ 個の群平均に使うと

$$\frac{\sum_i(\bar Y_{i\cdot}-\bar Y)^2}{\sigma_A^2+\sigma^2/n}\sim\chi^2_{k-1} .$$

両辺に $n$ を掛けた形に直せば第1の主張になる。

群内の偏差は $Y_{ij}-\bar Y_{i\cdot}=\varepsilon_{ij}-\bar\varepsilon_{i\cdot}$ で、$A_i$ が消える。群 $i$ の中で同じ定理を使うと

$$\frac{\sum_j(\varepsilon_{ij}-\bar\varepsilon_{i\cdot})^2}{\sigma^2}\sim\chi^2_{n-1}$$

で、これは $\bar\varepsilon_{i\cdot}$ と独立である。群どうしは独立なので、和をとって $S_e/\sigma^2\sim\chi^2_{k(n-1)}$。

さらに、$S_e$ は $\{\varepsilon_{ij}-\bar\varepsilon_{i\cdot}\}$ だけの関数である。$S_A$ は $\{A_i,\bar\varepsilon_{i\cdot}\}$ だけの関数である。この2組は独立なので、$S_A$ と $S_e$ は独立である。期待値は $\chi^2$ の平均が自由度に等しいことから出る。

この定理から3つのことが従う。

1. $H_0:\sigma_A^2=0$ の検定統計量は、固定効果と同じ $F_0=V_A/V_e$ である。$H_0$ のもとで $F_{k-1,k(n-1)}$ に従う。
2. 期待平均平方を連立させた分散分析推定量

$$\hat\sigma^2=V_e,\qquad \hat\sigma_A^2=\frac{V_A-V_e}{n}\tag{9.20}$$

は不偏である。ただし $V_A<V_e$ のとき $\hat\sigma_A^2$ は負になる。そのときは0と報告するのが普通だが、そうすると不偏性は失われる。3. $\theta=\sigma_A^2/\sigma^2$ とおくと、次の量は $\theta$ だけに依存するピボットである。

$$\frac{F_0}{1+n\theta}=\frac{S_A/\{(\sigma^2+n\sigma_A^2)(k-1)\}}{S_e/\{\sigma^2k(n-1)\}}\sim F_{k-1,\,k(n-1)}$$

よって分散の比 $\theta$ の正確な信頼区間が作れる（確認テスト 9.5-4）。

確認テスト

オリジナル

1. 9.5-1 一元配置で $S_T=S_A+S_e$ が成り立つことを、交差項

$$\sum_i\sum_j(\bar Y_{i\cdot}-\bar Y)(Y_{ij}-\bar Y_{i\cdot})$$

が0になることから示せ。2. 9.5-2 固定効果モデル (9.17) で、式 (9.19) の $E[S_A]$ を導け。3. 9.5-3 変量効果モデルで、次の2つを求めよ。

$$\mathrm{Cov}(Y_{ij},Y_{ij'})\ (j\neq j'),\qquad \mathrm{Cov}(Y_{ij},Y_{i'j'})\ (i\neq i') .$$

また、級内相関係数が $\sigma_A^2/(\sigma_A^2+\sigma^2)$ になることを示せ。4. 9.5-4 $k=5,\ n=4$ の変量効果モデルで $F_0=V_A/V_e=6.0$ を得た。$\theta=\sigma_A^2/\sigma^2$ の 95% 信頼区間を求めよ。$F_{4,15}(0.025)=3.804$、$F_{4,15}(0.975)=0.1155$ とする。