分散分析表における検定の意味

実験計画法　第4章 §4.1　★★★ 平方和の分解・期待平均平方・$F$ 分布の導出・尤度比検定との一致。記述式で「示せ」と問われる部分

第3章では、1元配置法のデータから平方和を計算し、分散分析表を作り、$F_0$ を $F$ 表の値と比べて判定する手順を、適用例を通して確かめた。この章では、その手順の一つ一つがなぜ正しいのかを、データの構造式と正規分布の性質から導く。

具体的には次の4つを示す。

1. 平方和の分解と期待値：総平方和は、要因の平方和 $S_A$ と誤差平方和 $S_e$ にちょうど分かれる。それぞれの期待値は

$$E(S_e)=\phi_e\sigma^2,\qquad E(S_A)=\phi_A\sigma^2+r\sum a_i^2$$

になる。2. $F_0$ の分布：帰無仮説 $H_0\colon a_1=\dots=a_\ell=0$ を考える。そのもとで、分散比は $F_0=V_A/V_e\sim F_{\phi_A,\phi_e}$ に従う。対立仮説のもとでは非心 $F$ 分布に従う。これが「$F_0$ が大きいときだけ棄却する」という上側片側の検定の根拠になる。3. 尤度比検定との一致：この $F$ 検定は、構造式から効果を取り除いたモデルと元のモデルを比べる尤度比検定と同じものである。4. 区間推定：分散分析のあとで、水準ごとの母平均、2つの水準の母平均の差、新しいデータの値を、$t$ 分布を使って区間で推定できる。2つの水準の差の検定を一度に書いた量が最小有意差（lsd）である。

資格試験の応用（理工学）の科目では、分散分析の問題は「構造式を書く → 平方和の期待値を求める → 分散分析表を作って検定する →母平均や差の信頼区間を求める」という小問の連鎖で出る。記述式なので、表の数値を埋めるだけでなく、期待値の計算や分布の導出を答案に書く必要がある。この章の導出はすべて、その答案にそのまま書ける形で書く。

この章を通して、次の記号を使う。

• 因子 $A$ の水準数を $\ell$ と書く。水準数を $a$ と書く本もあるが、効果 $a_i$ と紛れるのでこの解説では使わない。
• 各水準の繰返し数を $r$、データの総数を $N=\ell r$ と書く。

データの構造式は

$$x_{ij}=\mu+a_i+\varepsilon_{ij},\qquad \sum_{i=1}^{\ell}a_i=0,\qquad \varepsilon_{ij}\sim\mathrm{N}(0,\sigma^2)\ \text{独立} \qquad(i=1,\dots,\ell;\ j=1,\dots,r)\tag{4.1}$$

である。水準 $A_i$ の母平均を $\mu_i=\mu(A_i)=\mu+a_i$ と書く。データの平均には

$$\bar x_{i\cdot}=\frac1r\sum_{j=1}^r x_{ij},\qquad \bar{\bar x}=\frac1N\sum_{i=1}^{\ell}\sum_{j=1}^r x_{ij}$$

を使う。誤差の平均も同じ記法で $\bar\varepsilon_{i\cdot},\ \bar{\bar\varepsilon}$ と書く。構造式を平均すると次のようになる。

$$\begin{aligned}\bar x_{i\cdot}&=\mu+a_i+\bar\varepsilon_{i\cdot},\\ \bar{\bar x}&=\mu+\bar{\bar\varepsilon} &&\text{（}{\sum a_i=0}\text{ を使った）}\end{aligned}$$

平方和の分解

各データの全平均からのずれを、水準平均を経由して2つに分ける。

$$x_{ij}-\bar{\bar x}=(\bar x_{i\cdot}-\bar{\bar x})+(x_{ij}-\bar x_{i\cdot}).$$

右辺の第1項は「どの水準に属するか」で決まる部分、第2項は同じ水準の中でのばらつきである。両辺を2乗してすべての $i,j$ について足すと、次が成り立つ。

証明

2乗を展開すると、交差項は

$$2\sum_{i=1}^{\ell}\sum_{j=1}^r(\bar x_{i\cdot}-\bar{\bar x})(x_{ij}-\bar x_{i\cdot}) =2\sum_{i=1}^{\ell}(\bar x_{i\cdot}-\bar{\bar x})\sum_{j=1}^r(x_{ij}-\bar x_{i\cdot})$$

である。内側の和は $\sum_j x_{ij}-r\bar x_{i\cdot}=0$ なので、交差項は 0 になる。第1項の2乗和は添字 $j$ によらないので繰返し数倍になり、$S_A$ に一致する。

自由度は、2乗和に入る量の個数から制約の本数を引いて数える。

• $S_A$：水準の数だけある量 $\bar x_{i\cdot}-\bar{\bar x}$ の2乗和である。それらの和が 0 という制約が1本あるので、自由度は $\ell-1$。
• $S_e$：各水準でずれ $x_{ij}-\bar x_{i\cdot}$ の和が 0 という制約が、水準の数だけある。よって自由度は $N-\ell$。

計算には修正項 $CT=(\sum_{i,j}x_{ij})^2/N$ と水準ごとの合計 $T_i=\sum_j x_{ij}$ を使い、次のようにする（第2章 §2.2 の計算法）。

$$S_T=\sum_{i,j}x_{ij}^2-CT,\qquad S_A=\sum_i \frac{T_i^2}{r}-CT,\qquad S_e=S_T-S_A$$

定義式 (4.2) と計算式が一致することは、次の2つから分かる。

$$\sum_{i,j}(x_{ij}-\bar{\bar x})^2=\sum_{i,j}x_{ij}^2-N\bar{\bar x}^2,\qquad N\bar{\bar x}^2=CT$$

平方和の期待値と期待平均平方

構造式 (4.1) を平方和に代入すると、$\mu$ はすべて消える。

$$\begin{align*}x_{ij}-\bar x_{i\cdot}&=\varepsilon_{ij}-\bar\varepsilon_{i\cdot},\tag{4.3}\\\bar x_{i\cdot}-\bar{\bar x}&=a_i+(\bar\varepsilon_{i\cdot}-\bar{\bar\varepsilon}).\tag{4.4}\end{align*}$$

したがって誤差平方和は誤差だけで決まり、$S_A$ には効果と誤差の両方が入る。ここから期待値を計算する。

証明

まず $S_e$ を扱う。水準 $A_i$ の中の誤差 $\varepsilon_{i1},\dots,\varepsilon_{ir}$ は、互いに独立に同じ正規分布に従う。よって偏差平方和の期待値は、不偏分散の性質から $(r-1)\sigma^2$ である。直接確かめるには、次の3つの期待値を使う。

$$E(\varepsilon_{ij}^2)=\sigma^2,\qquad E(\varepsilon_{ij}\bar\varepsilon_{i\cdot})=\sigma^2/r,\qquad E(\bar\varepsilon_{i\cdot}^2)=\sigma^2/r$$

これらから

$$E\Bigl[\sum_{j=1}^r(\varepsilon_{ij}-\bar\varepsilon_{i\cdot})^2\Bigr] =\sum_{j=1}^r\Bigl(\sigma^2-\frac{2\sigma^2}{r}+\frac{\sigma^2}{r}\Bigr)=r\sigma^2-\sigma^2=(r-1)\sigma^2 .$$

これを $\ell$ 個の水準について足して $E(S_e)=\ell(r-1)\sigma^2$ を得る。

次に $S_A$ を扱う。(4.4) を代入して展開すると

$$S_A=r\sum_{i}a_i^2+2r\sum_i a_i(\bar\varepsilon_{i\cdot}-\bar{\bar\varepsilon})+r\sum_i(\bar\varepsilon_{i\cdot}-\bar{\bar\varepsilon})^2 .$$

各項の期待値を順に調べる。

• 第1項は定数である。
• 第2項は誤差の1次式なので、期待値は 0 である。
• 第3項：$\bar\varepsilon_{1\cdot},\dots,\bar\varepsilon_{\ell\cdot}$ は $\mathrm{N}(0,\sigma^2/r)$ に独立に従う。全体の誤差平均はその平均である。分散 $\sigma^2/r$ の独立な変数を水準の数だけ並べると、偏差平方和の期待値は $(\ell-1)\sigma^2/r$ である。よって第3項の期待値は $r\cdot(\ell-1)\sigma^2/r=(\ell-1)\sigma^2$ になる。

以上を足して (4.5) を得る。(4.6) は自由度で割っただけである。

期待平均平方 (4.6) から、検定の形が決まる。

• $V_e$ は、帰無仮説が正しくても誤っていても $\sigma^2$ の不偏推定量である。
• $V_A$ は、帰無仮説 $H_0\colon a_1=\dots=a_\ell=0$ のもとでは同じく不偏推定量である。帰無仮説が誤っていれば、期待値が $r\sigma_A^2>0$ だけ大きくなる。

したがって比 $F_0=V_A/V_e$ は、帰無仮説のもとで 1 の近くに、対立仮説のもとで 1 より大きな値になりやすい。1 より小さくなる方向は対立仮説の証拠にならないので、棄却域は上側だけに置く。

$F_0$ の分布

期待値の比較だけでは、棄却域の境目を決められない。境目を決めるには $F_0$ の分布が要る。正規母集団の標本分布について、次の事実を使う（数理統計の解説 第5章 §5.2「正規母集団からの代表的な標本分布」の内容）。

証明

(1) 水準 $A_i$ のデータ $x_{i1},\dots,x_{ir}$ は、正規分布からの独立な標本である（平均は水準の母平均）。次のようにおく。

$$Q_i\coloneqq\sum_j(x_{ij}-\bar x_{i\cdot})^2$$

補題 4.3 より、水準平均と $Q_i$ は独立で、$Q_i/\sigma^2\sim\chi^2_{r-1}$ である。水準が違えばデータは独立なので、組 $(\bar x_{1\cdot},Q_1),\dots,(\bar x_{\ell\cdot},Q_\ell)$ は互いに独立になる。

したがって水準平均と $Q_i$ は、全部で $2\ell$ 個がすべて互いに独立である。$S_e=\sum_iQ_i$ は独立なカイ二乗変数の和なので、カイ二乗分布の再生性から $\sigma^2\chi^2_{\ell(r-1)}$ に従う。$S_A=r\sum_i(\bar x_{i\cdot}-\bar{\bar x})^2$ は水準平均だけの関数なので（$\bar{\bar x}=\frac1\ell\sum_i\bar x_{i\cdot}$）、誤差平方和と独立である。

(2) 帰無仮説のもとで $\bar x_{1\cdot},\dots,\bar x_{\ell\cdot}$ は $\mathrm{N}(\mu,\sigma^2/r)$ に独立に従う。これに補題 4.3 を $n=\ell,\ \tau^2=\sigma^2/r$ で使うと、次を得る。

$$\frac{\sum_i(\bar x_{i\cdot}-\bar{\bar x})^2}{\sigma^2/r}=\frac{S_A}{\sigma^2}\sim\chi^2_{\ell-1}$$

(1) の独立性と補題の $F$ 分布の定義から

$$F_0=\frac{V_A}{V_e}=\frac{(S_A/\sigma^2)/\phi_A}{(S_e/\sigma^2)/\phi_e}\sim F_{\phi_A,\phi_e}.$$

$\sigma^2$ は分子と分母で消えるので、検定統計量は未知の誤差分散を含まずに計算できる。棄却域が上側だけになる理由は直前で述べた。

対立仮説のもとでの分布も同じ議論で求まる。$\bar x_{i\cdot}\sim\mathrm{N}(\mu+a_i,\sigma^2/r)$ なので、$\sqrt r\,\bar x_{i\cdot}/\sigma$ は独立な正規変数になる。その平均は $\sqrt r(\mu+a_i)/\sigma$、分散は 1 である。平均がそろっていない正規変数の偏差平方和は非心カイ二乗分布に従う。

偏差平方和 $\sum_k(Z_k-\bar Z)^2$ は $\chi'^2_{n-1}(\lambda)$ に従い、そのときの非心度は次になる。

$$\lambda=\sum_k(m_k-\bar m)^2$$

直交変換で平均の方向を1つ取り除くと、残りの $n-1$ 成分の平均ベクトルの長さの2乗がこの値になるためである。これを $Z_i=\sqrt r\,\bar x_{i\cdot}/\sigma$ に使うと、$m_i-\bar m=\sqrt r\,a_i/\sigma$ なので

$$\frac{S_A}{\sigma^2}\sim\chi'^2_{\phi_A}(\lambda),\qquad F_0\sim F'_{\phi_A,\phi_e}(\lambda),\qquad \lambda=\frac{r\sum_ia_i^2}{\sigma^2}\tag{4.7}$$

となる。$E(S_A/\sigma^2)=\phi_A+\lambda$ は定理 4.2 の $E(S_A)=\phi_A\sigma^2+r\sum a_i^2$ と一致する。検定の検出力は非心度 $\lambda$ だけで決まり、

$$\beta(\lambda)=P\bigl(F'_{\phi_A,\phi_e}(\lambda)\ge F_{\phi_A,\phi_e}(\alpha)\bigr)\tag{4.8}$$

と書ける。非心度は次の3つで決まる。

• 繰返し数 $r$ に比例する。
• 効果の大きさ $\sum a_i^2$ に比例する。
• 誤差分散 $\sigma^2$ に反比例する。

繰返し数を2倍にすると非心度が2倍になる。さらに誤差の自由度も増えて棄却の境目 $F_{\phi_A,\phi_e}(\alpha)$ が下がるので、検出力は二重に上がる。

構造式と検定の対応

構造式 (4.1) の各項と分散分析表の行は1対1に対応する。

• 一般平均 $\mu$ は修正項 $CT$ に対応する（自由度 1）。
• 効果 $a_i$ は $S_A$ に対応する。自由度は $\ell-1$。
• 誤差 $\varepsilon_{ij}$ は $S_e$ に対応する。自由度は $N-\ell$。

2乗和全体は $\sum_{i,j}x_{ij}^2=CT+S_A+S_e$ と分かれ、自由度も $N=1+(\ell-1)+(N-\ell)$ と分かれる。期待平均平方の欄には、その行に対応する項の寄与と誤差の寄与 $\sigma^2$ が並ぶ。

検定は「構造式からある項を取り除いてよいか」を問う手続きである。その項の行の平均平方を、その項を除いて残る成分（ここでは誤差）の平均平方で割って調べる。

この対応は、2つのモデルを比べる見方で書くとはっきりする。$H_0$ は構造式を $x_{ij}=\mu+\varepsilon_{ij}$ に縮めたモデルである。各モデルで最小二乗法によりパラメータを当てはめると、残差平方和は

• 元のモデル（水準ごとの母平均を自由に動かせる）：$\hat\mu_i=\bar x_{i\cdot}$ で、残差平方和は $S_e$、
• 帰無仮説のモデル（共通の母平均だけ）：$\hat\mu=\bar{\bar x}$ で、残差平方和は $S_T$

となる。項 $a_i$ を除いたことで残差平方和は $S_T-S_e=S_A$ だけ増える。$S_A$ は「$a_i$ を構造式に入れることで説明できた変動」である。$F_0$ はこの増分を1自由度あたりに直し、誤差の1自由度あたりの大きさ $V_e$ と比べた量である。

有意になった要因と有意にならなかった要因の読み方

$F$ 検定で帰無仮説が棄却されたときに言えることは、「母平均 $\mu_1,\dots,\mu_\ell$ がすべて等しいとは言えない」ということだけである。どの水準とどの水準が違うのか、どれだけ違うのかは、検定の結論には含まれない。それを調べるのが §4.2 の推定である。

また $F_0$ が大きいことは効果が大きいことと同じではない。(4.7) の非心度 $\lambda=r\sum a_i^2/\sigma^2$ は繰返し数に比例する。繰返しを増やせば小さな効果でも有意になる。効果の大きさは、推定値 $\hat a_i=\bar x_{i\cdot}-\bar{\bar x}$ や寄与率 $\rho_A=(S_A-\phi_AV_e)/S_T$ で別に読む。

逆に帰無仮説が棄却されなかったときに、「水準間に差がない」と結論してはいけない。有意にならない原因は2つある。

• 効果が本当に 0 である場合。
• 効果はあるが、非心度が小さく検出力 (4.8) が低かった場合。図 4.1 の右のように、非心度が 10 程度でも検出力は 0.66 にとどまる。

実務では、有意でない要因は構造式から外して誤差に含める（プーリング）ことが多い。これは「差がない」と証明したのではなく、「差があるとは言えないので、以後の推定では区別しない」という判断である。プーリングの基準は第5章で扱う。

確認テスト

オリジナル

1. 4.1-1 水準数 5、繰返し数 6 の1元配置法で、自由度 $\phi_A,\ \phi_e,\ \phi_T$ を求めよ。さらに $E(V_A)$ を誤差分散と効果で書け。$F_0$ の棄却域を、有意水準 5% で $F$ 分布の上側点の記号で書け。
2. 4.1-2 水準数 4、繰返し数 3 の1元配置法で、次の値を得た。

$$\bar x_{1\cdot}=10,\quad \bar x_{2\cdot}=12,\quad \bar x_{3\cdot}=11,\quad \bar x_{4\cdot}=15,\qquad S_e=24$$分散分析表を作り、有意水準 5% と 1% で検定せよ。$F_{3,8}(0.05)=4.07,\ F_{3,8}(0.01)=7.59$ とする。3. 4.1-3 $\ell=3,\ r=5$ で、効果が $(a_1,a_2,a_3)=(-2,0,2)$、誤差の標準偏差が 2 とする。$E(V_A),\ E(V_e)$ と非心度 $\lambda$ を求めよ。有意水準 5% の $F$ 検定の検出力を、非心 $F$ 分布の確率として書け。4. 4.1-4 繰返し数が水準ごとに $r_i$ で、効果に $\sum_ir_ia_i=0$ を課したモデルを考える。次の期待値の式を示せ。

$$E\Bigl[\sum_ir_i(\bar x_{i\cdot}-\bar{\bar x})^2\Bigr]=(\ell-1)\sigma^2+\sum_ir_ia_i^2$$