繰返しのある2元配置法の理論

実験計画法　第5章 §5.2　★★★ 平方和の直交分解・期待平均平方・プーリング・有効反復数。記述式で「導出せよ」と問われる部分

平方和の分解

各データの全体平均からの偏差を、次の4つの部分に分ける。

$$x_{ijk}-\bar x=\underbrace{(\bar x_{i\cdot\cdot}-\bar x)}_{A}+\underbrace{(\bar x_{\cdot j\cdot}-\bar x)}_{B} +\underbrace{(\bar x_{ij\cdot}-\bar x_{i\cdot\cdot}-\bar x_{\cdot j\cdot}+\bar x)}_{A\times B}+\underbrace{(x_{ijk}-\bar x_{ij\cdot})}_{e}.\tag{5.4}$$

右辺を足すと左辺に戻ることは、項を消し合わせれば確かめることができる。

証明

4つの部分を順に次のように書く。

$$u^A_{i},\qquad u^B_{j},\qquad u^{AB}_{ij},\qquad u^e_{ijk}$$

添字が示すとおり、$u^A$ は $i$ だけに依存する。同様に $u^B$ は $j$ だけに依存する。$u^{AB}$ は $(i,j)$ だけに依存する。また次の性質を持つ。

$$\sum_i u^A_i=0,\qquad \sum_j u^B_j=0,\qquad \sum_i u^{AB}_{ij}=0\ (\text{各 }j),\qquad \sum_j u^{AB}_{ij}=0\ (\text{各 }i),\qquad \sum_k u^e_{ijk}=0\ (\text{各 }i,j).$$

最初の2つは平均の定義から直ちに従う。3つ目と4つ目は例題 5.1 の (2) と同じ計算で示すことができる。最後のものは$\sum_k(x_{ijk}-\bar x_{ij\cdot})=T_{ij\cdot}-r\bar x_{ij\cdot}=0$ である。

交差項を1つずつ調べる。

$$\begin{aligned}\sum_{i,j,k}u^A_iu^B_j&=r\Big(\sum_iu^A_i\Big)\Big(\sum_ju^B_j\Big)=0,\\ \sum_{i,j,k}u^A_iu^{AB}_{ij}&=r\sum_iu^A_i\Big(\sum_ju^{AB}_{ij}\Big)=0,\\ \sum_{i,j,k}u^B_ju^{AB}_{ij}&=r\sum_ju^B_j\Big(\sum_iu^{AB}_{ij}\Big)=0 .\end{aligned}$$

$u^e$ との交差項を考える。ほかの3つはどれも $k$ によらない。そこで $k$ についての和を先にとれば、$\sum_ku^e_{ijk}=0$ により消える。

以上で6つの交差項がすべて 0 になり、2乗の和は各部分の2乗の和に分かれる。

各 $u^A_i$ は $mr$ 個のデータに共通に現れる。ここから $S_A$ の係数 $mr$ が出る。$S_B$ の係数 $lr$ も同じ理由による。$S_{A\times B}$ の係数 $r$ も同様である。

自由度は

$$\phi_T=N-1,\quad \phi_A=l-1,\quad \phi_B=m-1,\quad \phi_{A\times B}=(l-1)(m-1),\quad \phi_e=lm(r-1)\tag{5.6}$$

で、$\phi_A+\phi_B+\phi_{A\times B}+\phi_e=(lm-1)+lm(r-1)=N-1=\phi_T$ が成り立つ。

計算の手順

手で計算するときは、平均の差の2乗を足すより、和の2乗から修正項を引く形の方が丸めの誤差が入らない。修正項を $CT=T^2/N$ とおくと、

$$\begin{aligned} S_T&=\sum_{i,j,k}x_{ijk}^2-CT, & S_A&=\sum_i\frac{T_{i\cdot\cdot}^2}{mr}-CT, & S_B&=\sum_j\frac{T_{\cdot j\cdot}^2}{lr}-CT,\\ S_{AB}&=\sum_{i,j}\frac{T_{ij\cdot}^2}{r}-CT, & S_{A\times B}&=S_{AB}-S_A-S_B, & S_e&=S_T-S_{AB}. \end{aligned}\tag{5.7}$$

$S_{AB}$ は、2元表のセルを1つの因子の水準と見たときの平方和である（水準数は $lm$）。組合せの母平均どうしのばらつき全体を表す。そこから主効果の分を引いた残りが交互作用の平方和になる。

$S_A$ の式は、$mr\sum_i(\bar x_{i\cdot\cdot}-\bar x)^2$ を展開すれば得られる。

$$mr\sum_i(\bar x_{i\cdot\cdot}-\bar x)^2=\sum_i \frac{T_{i\cdot\cdot}^2}{mr}-2\bar xT+N\bar x^2=\sum_i\frac{T_{i\cdot\cdot}^2}{mr}-\frac{T^2}{N}.$$

ほかも同じ計算である。

期待平均平方

各平方和の期待値を求める。構造式 (5.1) と制約 (5.2) を平均に代入すると、

$$\bar x_{i\cdot\cdot}-\bar x=a_i+(\bar\varepsilon _{i\cdot\cdot}-\bar\varepsilon ),\qquad \bar x_{ij\cdot}-\bar x_{i\cdot\cdot}-\bar x_{\cdot j\cdot}+\bar x=(ab)_{ij}+(\bar\varepsilon _{ij\cdot}-\bar\varepsilon _{i\cdot\cdot}-\bar\varepsilon _{\cdot j\cdot}+\bar\varepsilon ),\qquad x_{ijk}-\bar x_{ij\cdot}=\varepsilon _{ijk}-\bar\varepsilon _{ij\cdot}$$

となる。$\bar x_{i\cdot\cdot}$ では、$B$ の主効果と交互作用が和で消える。$\mu$ は差をとると消える。母平均の部分と誤差の部分に分かれたので、2乗の期待値は「母数の2乗和」と「誤差の部分の2乗和の期待値」の和になる（交差項は $E[\varepsilon ]=0$ により期待値が 0）。

証明

まず補助的な事実を示す。$Y_1,\dots,Y_n$ が独立に平均 0・分散 $\tau^2$ に従うとする。$\bar Y=\frac1n\sum Y_i$ について

$$E\Big[\sum_{i=1}^n(Y_i-\bar Y)^2\Big]=E\Big[\sum Y_i^2\Big]-nE[\bar Y^2]=n\tau^2-n\cdot\frac{\tau^2}{n}=(n-1)\tau^2.\tag{5.9}$$

$V_e$：各組合せの誤差 $\varepsilon _{ij1},\dots,\varepsilon _{ijr}$ は独立で、分散は等しい。(5.9) から

$$E\Big[\sum_k(\varepsilon _{ijk}-\bar\varepsilon _{ij\cdot})^2\Big]=(r-1)\sigma^2 .$$

$lm$ 個の組合せについて足して $E(S_e)=lm(r-1)\sigma^2$。$\phi_e$ で割って $E(V_e)=\sigma^2$。

$V_A$：$\bar\varepsilon _{1\cdot\cdot},\dots,\bar\varepsilon _{l\cdot\cdot}$ は互いに独立である（重なるデータが無い）。それぞれ $mr$ 個の平均なので、分散は $\sigma^2/(mr)$ である。$\bar\varepsilon$ はこれらの平均である。よって (5.9) で $n=l$ とする。さらに $\tau^2=\sigma^2/(mr)$ として

$$E(S_A)=mr\Big[\sum_ia_i^2+E\sum_i(\bar\varepsilon _{i\cdot\cdot}-\bar\varepsilon )^2\Big]=mr\sum_ia_i^2+mr(l-1)\frac{\sigma^2}{mr}=mr\sum_ia_i^2+(l-1)\sigma^2.$$

交差項 $2mr\sum_ia_iE[\bar\varepsilon _{i\cdot\cdot}-\bar\varepsilon ]$ は 0 である。$\phi_A=l-1$ で割れば $E(V_A)$ の式になる。$V_B$ も同様である。

$V_{A\times B}$：$w_{ij}=\bar\varepsilon _{ij\cdot}$ とおく。$w_{ij}$ は $lm$ 個ある。これらは独立に平均 0・分散 $\tau^2=\sigma^2/r$ を持つ。

例題 5.1 と同じ分解を $w$ に当てはめる。$w_{ij}-\bar w$ の2乗和が、行・列・残りの3つに直交分解される。よって

$$\sum_{i,j}(w_{ij}-\bar w_{i\cdot}-\bar w_{\cdot j}+\bar w)^2=\sum_{i,j}(w_{ij}-\bar w)^2-m\sum_i(\bar w_{i\cdot}-\bar w)^2-l\sum_j(\bar w_{\cdot j}-\bar w)^2.$$

右辺の各項の期待値は、(5.9) から次のとおりである（$\bar w_{i\cdot}$ の分散は $\tau^2/m$）。

$$(lm-1)\tau^2,\qquad m(l-1)\tau^2/m,\qquad l(m-1)\tau^2/l .$$

よって左辺の期待値は

$$(lm-1-l+1-m+1)\tau^2=(l-1)(m-1)\sigma^2/r$$

である。$r$ 倍し、母数の部分 $r\sum(ab)_{ij}^2$ を足して

$$E(S_{A\times B})=r\sum_{i,j}(ab)_{ij}^2+(l-1)(m-1)\sigma^2 .$$

$\phi_{A\times B}$ で割れば主張を得る。

(5.8) から検定の組み立てが読み取れる。帰無仮説を $H_0:a_1=\dots=a_l=0$ とする。

• $H_0$ のもとでは $E(V_A)=E(V_e)=\sigma^2$ である。
• $H_0$ が偽なら $E(V_A)>\sigma^2$ になる。

したがって $F_0=V_A/V_e$ が大きいときに $H_0$ を棄却すればよい。$B$ と $A\times B$ の検定でも、分母は誤差の平均平方である。

検定統計量の分布

証明

誤差ベクトル $\bm\varepsilon \in\mathbb{R}^N$ は $\mathrm{N}(\bm0,\sigma^2I_N)$ に従う。前の考え方の箱で述べた、互いに直交する4つの部分空間を使う。それぞれへの直交射影を $P_A,P_B,P_{AB},P_e$ とする。

• $u^e$ に母数が入らないので、$S_e=\lVert P_e\bm x\rVert ^2=\lVert P_e\bm\varepsilon \rVert ^2$。
• $H_0^A$ のもとでは $S_A=\lVert P_A\bm\varepsilon \rVert ^2$ である。

射影の像は互いに直交する。よって正規ベクトルの射影 $P_A\bm\varepsilon ,\dots,P_e\bm\varepsilon$ は互いに無相関の正規ベクトルで、独立になる。また次元 $d$ の部分空間の正規直交基底 $\bm q_1,\dots,\bm q_d$ をとると

$$\lVert P\bm\varepsilon \rVert ^2=\sum_{s=1}^d(\bm q_s^\top\bm\varepsilon )^2$$

である。$\bm q_s^\top\bm\varepsilon$ は独立に $\mathrm{N}(0,\sigma^2)$ に従う。よって $\lVert P\bm\varepsilon \rVert ^2/\sigma^2\sim\chi^2_d$ である。

母数の部分は射影の平行移動にすぎない。よって $S_A$ と $S_e$ の独立性は、帰無仮説が正しいかどうかによらず保たれる。独立な $\chi^2$ の比の定義から $F_0\sim F_{\phi_A,\phi_e}$ が従う。

分散分析表は次の形にまとめる。$F_0$ を上側5%点 $F_{\phi,\phi_e}(0.05)$ と比べる。上側1%点 $F_{\phi,\phi_e}(0.01)$ とも比べる。5% で有意なら $^*$ を付け、1% で有意なら $^{**}$ を付ける。

プーリング

交互作用 $A\times B$ が有意でなく、技術的にも交互作用が無いと考えてよいときがある。そのときは $S_{A\times B}$ を $S_e$ に足し込んで、新しい誤差とすることがある。これをプーリングと呼ぶ。

$$S_{e'}=S_e+S_{A\times B},\qquad \phi_{e'}=\phi_e+\phi_{A\times B},\qquad V_{e'}=\frac{S_{e'}}{\phi_{e'}}.\tag{5.10}$$

交互作用がすべて 0 なら、$E(S_{A\times B})=\phi_{A\times B}\sigma^2$ である。よって $V_{e'}$ も $\sigma^2$ の不偏推定量であり、自由度が増えた分だけ推定が安定する。自由度が増えると $F$ 分布の上側点が小さくなり、主効果の検定の検出力が上がる。

反対に、交互作用が実際には 0 でないのにプールすると、次のように誤差を過大に見積もる。

$$E(V_{e'})=\sigma^2+\frac{r\sum(ab)_{ij}^2}{\phi_{e'}}>\sigma^2$$

すると主効果の $F_0$ は小さくなり、推定の信頼区間も実際より広くなる。さらに、交互作用を無いものとして組合せの母平均を推定すると、推定量そのものに偏りが入る（例題 5.3 の後の注意を参照）。

プールするかどうかの判断には、次の目安がよく使われる。

• $A\times B$ が有意水準 5% で有意でなく、さらに $F_0$ がおよそ 2 以下ならプールする（有意水準 20% でも有意でない、とする流儀もある）。
• $F_0$ が 2 を超えるときは、有意でなくても交互作用の存在を否定しにくい。プールせずに残す。

この目安は「有意でない」ことと「無い」ことが違うことへの配慮である。検定で有意にならなかったのは、$\phi_e$ が小さく検出力が低かっただけかもしれない。技術的な知見で交互作用が考えられるなら、数値の大小によらず残す方が安全である。

分散分析後の推定

交互作用を残したとき。

組合せ $A_iB_j$ の母平均 $\mu(A_iB_j)=\mu+a_i+b_j+(ab)_{ij}$ は、その組合せのデータの平均で推定する。

$$\hat\mu(A_iB_j)=\bar x_{ij\cdot},\qquad V[\hat\mu(A_iB_j)]=\frac{\sigma^2}{r}.\tag{5.11}$$

分散の分母の $r$ を有効反復数 $n_e$ と呼ぶ。一般に、推定量の分散が $\sigma^2/n_e$ の形に書けるとき、その $n_e$ を有効反復数という。$\sigma^2$ を $V_e$ で置き換えると、次が成り立つ。

$$\frac{\hat\mu-\mu}{\sqrt{V_e/n_e}}\sim t_{\phi_e}$$これを使えば、信頼率 95% の信頼区間は

$$\hat\mu(A_iB_j)\pm t_{\phi_e}(0.025)\sqrt{\frac{V_e}{n_e}}\tag{5.12}$$

である。$t$ 分布になるのは、組合せの平均 $\bar x_{ij\cdot}$ と誤差の平均平方が独立だからである。$\bar x_{ij\cdot}$ は組合せの平均で、$V_e$ は組合せの内側の偏差から作られる。正規母集団では、標本平均と偏差の平方和が独立になる。

交互作用をプールしたとき。

交互作用を 0 とみなすので、$\mu(A_iB_j)=\mu+a_i+b_j$ である。これを $\hat\mu+\hat a_i+\hat b_j$ で推定する。

$$\hat\mu(A_iB_j)=\bar x+(\bar x_{i\cdot\cdot}-\bar x)+(\bar x_{\cdot j\cdot}-\bar x)=\bar x_{i\cdot\cdot}+\bar x_{\cdot j\cdot}-\bar x.\tag{5.13}$$

証明

3つの平均の分散は次のとおりである。

$$V[\bar x_{i\cdot\cdot}]=\frac{\sigma^2}{mr},\qquad V[\bar x_{\cdot j\cdot}]=\frac{\sigma^2}{lr},\qquad V[\bar x]=\frac{\sigma^2}{N}.$$

共分散は、2つの平均に共通に含まれるデータの個数で決まる。$\bar x_{i\cdot\cdot}$ は $mr$ 個の平均である。$\bar x_{\cdot j\cdot}$ は $lr$ 個の平均である。両者が共有するのは組合せ $A_iB_j$ の $r$ 個なので

$$\mathrm{Cov}(\bar x_{i\cdot\cdot},\bar x_{\cdot j\cdot})=\frac{1}{mr}\cdot\frac{1}{lr}\cdot r\sigma^2=\frac{\sigma^2}{lmr}=\frac{\sigma^2}{N}.$$

同様に

$$\mathrm{Cov}(\bar x_{i\cdot\cdot},\bar x)=\frac1{mr}\cdot\frac1N\cdot mr\sigma^2=\frac{\sigma^2}N,\qquad \mathrm{Cov}(\bar x_{\cdot j\cdot},\bar x)=\frac{\sigma^2}N.$$

よって

$$V=\sigma^2\Big[\frac1{mr}+\frac1{lr}+\frac1N+\frac2N-\frac2N-\frac2N\Big]=\sigma^2\Big[\frac1{mr}+\frac1{lr}-\frac1N\Big].$$

通分すると $\frac{l+m-1}{lmr}\sigma^2$ になる。

有効反復数を毎回この共分散の計算から求めるのは手間なので、次の2つの簡便な式が使われる。

定理 5.4 は、この推定量について両方の式が正しい分散を与えることを示している。交互作用を残した場合も、田口の式は次のようになり、(5.11) と一致する。

$$\frac{1+\phi_A+\phi_B+\phi_{A\times B}}{N}=\frac{lm}{N}=\frac1r .$$

2つの式が正しい理由は、どちらも次の事実から出てくる。データベクトル $\bm x$ を、一般平均と2つの主効果が張る部分空間へ直交射影する。

その射影を $H\bm x$ とする。組合せ $A_iB_j$ に属するデータを1つ選び、$d$ とする。この推定量は、$H\bm x$ の $d$ 番目の成分である。つまり $\hat\mu=\bm w^\top\bm x$、$\bm w=H\bm e_d$ と書ける。$H$ は対称で $H^2=H$ なので

$$V[\hat\mu]=\sigma^2\bm w^\top\bm w=\sigma^2\bm e_d^\top H^\top H\bm e_d=\sigma^2\bm e_d^\top H\bm e_d=\sigma^2h_{dd}$$

となる。分散は、データ $d$ 自身にかかる重み $h_{dd}=w_d$ に等しい。

• 点推定の式に現れる平均は、どれもデータ $d$ を含む。よって $w_d$ は、各平均の係数をその平均のデータ数で割って足したものになる。これが伊奈の式である。
• 釣り合った2元配置では、どのデータも同じ立場にある。よって $h_{dd}$ はすべて等しく、その値は

$$\frac{\operatorname{Tr} H}{N}=\frac{\text{部分空間の次元}}{N}=\frac{1+\phi_A+\phi_B}{N}$$

である。これが田口の式である。

データ数が組合せごとに異なる計画や、第10章の擬水準法のような割り付けでは、$h_{dd}$ が揃わない。そのときは伊奈の式の方を基本にする。

プール後の信頼区間は、$V_e$ を $V_{e'}$ に置き換えて作る。自由度も $\phi_{e'}$ に置き換えて

$$\hat\mu(A_iB_j)\pm t_{\phi_{e'}}(0.025)\sqrt{\frac{V_{e'}}{n_e}},\qquad n_e=\frac{lmr}{l+m-1}\tag{5.14}$$

とする。

データの予測。

条件 $A_iB_j$ で新しく1回実験したときの値を $x$ とする。$x$ は、母平均 $\mu(A_iB_j)$ に新しい誤差が加わったものである。新しい誤差は既存のデータと独立なので、$x-\hat\mu(A_iB_j)$ の分散は次の和になる。

$$\underbrace{\sigma^2}_{\text{新しい誤差}}+\underbrace{\sigma^2/n_e}_{\text{推定量}}=\sigma^2\Big(1+\frac1{n_e}\Big)$$

よって予測区間は

$$\hat\mu(A_iB_j)\pm t_{\phi_e}(0.025)\sqrt{\Big(1+\frac1{n_e}\Big)V_e}.\tag{5.15}$$

2つの母平均の差。

• 交互作用を残したとき：差 $\mu(A_iB_j)-\mu(A_{i'}B_{j'})$ の推定量は $\bar x_{ij\cdot}-\bar x_{i'j'\cdot}$ である。これは重なりの無い2つの平均の差なので、分散は $2\sigma^2/r$ である。すなわち $\frac1{n_e}=\frac2r$ として、(5.12) と同じ形の区間を作る。
• プールした後で、同じ $B_j$ のもとで $A$ の水準だけを比べるとき：推定量の差は

$$(\bar x_{i\cdot\cdot}+\bar x_{\cdot j\cdot}-\bar x)-(\bar x_{i'\cdot\cdot}+\bar x_{\cdot j\cdot}-\bar x)=\bar x_{i\cdot\cdot}-\bar x_{i'\cdot\cdot}$$

となる。分散は $2\sigma^2/(mr)$ である。

確認テスト

オリジナル

1. 5.2-1 定理 5.1 の証明のうち、次の交差項が 0 になることを、和をとる順序を明示して示せ。

$$\sum_{i,j,k}(\bar x_{i\cdot\cdot}-\bar x)(\bar x_{ij\cdot}-\bar x_{i\cdot\cdot}-\bar x_{\cdot j\cdot}+\bar x)$$ 2. 5.2-2 $E(S_B)=lr\sum_jb_j^2+(m-1)\sigma^2$ を導け。3. 5.2-3 水準数を $l=4$、$m=3$ とし、繰返しを3回とする実験を考える。次の2つの場合の有効反復数を、田口の式と伊奈の式の両方で求めよ。

1. (a) 交互作用を残して $\mu(A_iB_j)$ を推定するとき。
2. (b) 交互作用をプールして推定するとき。
3. 5.2-4 $l=m=r=3$ の実験で、次の平方和を得た。

$$S_A=40,\qquad S_B=12,\qquad S_{A\times B}=8,\qquad S_e=36$$

分散分析表を作って検定せよ。プールの目安に照らして、$A\times B$ をプールした後の表も作れ。次の値を用いよ。

$$F_{2,18}(0.05)=3.555,\quad F_{4,18}(0.05)=2.928,\quad F_{2,22}(0.05)=3.443,\quad F_{2,22}(0.01)=5.719$$ 5. 5.2-5 交互作用を残した分析で、次の値を得た。

$$r=3,\qquad V_e=1.5\ (\phi_e=12),\qquad \bar x_{12\cdot}-\bar x_{32\cdot}=4.0$$

$\mu(A_1B_2)-\mu(A_3B_2)$ の信頼率 95% の信頼区間を求めよ。$t_{12}(0.025)=2.179$ とする。