発展的事項

数理統計　第5章 §5.5　★★ 正規ベクトルの二次形式とχ²、標本分位点の漸近正規性、分散安定化変換

ここでは1級の範囲で使う話題を3つ選ぶ。第一は正規ベクトルの二次形式の分布で、定理5.5 を行列の言葉で一般化し、回帰の残差平方和の分布（第9章）につなぐ。第二は標本分位点（中央値など）の漸近正規性で、§5.4 と§5.3 を組み合わせる。第三は分散安定化変換で、デルタ法の応用である。

正規ベクトルの二次形式

証明

(1) 対称行列は直交行列 $P$ で $A=P\Lambda P^\top$ と対角化できる。$A^2=A$ から、各固有値は $\lambda^2=\lambda$ を満たし、0か1である。1の個数は $\mathrm{tr}\,A=\mathrm{rank}\,A=r$ である。$\bm W=P^\top\bm Z$ とおくと $\bm W\sim\mathrm{N}(\bm 0,P^\top P)=\mathrm{N}(\bm 0,I_n)$ である。固有値1を最初の $r$ 個に並べれば

$$\bm Z^\top A\bm Z=\bm W^\top\Lambda\bm W=W_1^2+\cdots+W_r^2\sim\chi^2_r .$$

(2) $A\bm Z$ と $B\bm Z$ はまとめて多変量正規に従う。共分散行列は $E[A\bm Z\bm Z^\top B^\top]=AB=O$ である。多変量正規では無相関と独立が同値なので $A\bm Z$ と $B\bm Z$ は独立。

冪等性から $\bm Z^\top A\bm Z=\bm Z^\top A^\top A\bm Z=\|A\bm Z\|^2$ で、これは $A\bm Z$ の関数である。同様に $\bm Z^\top B\bm Z=\|B\bm Z\|^2$ は $B\bm Z$ の関数なので、2つは独立。

(3) $\mathrm{Cov}(\bm b^\top\bm Z,A\bm Z)=\bm b^\top A=(A\bm b)^\top=\bm 0^\top$ である。よって (2) と同じ理由で $\bm b^\top\bm Z$ と $A\bm Z$ は独立である。

定理5.5 はこの特別な場合である。次の行列を考える。

$$\bm 1=(1,\dots,1)^\top,\qquad A=I_n-\frac1n\bm1\bm1^\top .$$

$A$ は対称冪等で、階数は $n-1$ である（確認テスト 5.5-1）。さらに次が成り立つ。

$$\bm Z^\top A\bm Z=\sum(Z_i-\bar Z)^2,\qquad A\bm1=\bm0 .$$

よって (3) から、$\sum(Z_i-\bar Z)^2$ は $\bar Z=\frac1n\bm1^\top\bm Z$ と独立になる。標準化 $Z_i=(X_i-\mu)/\sigma$ に含まれる母平均は、$A\bm1=\bm0$ によって二次形式から消える。そのため母平均を知らなくても使える。

線形回帰 $\bm Y=X\bm\beta+\bm\varepsilon$ でも同じ形になる。誤差は $\bm\varepsilon\sim\mathrm{N}(\bm0,\sigma^2I_n)$ とする。$X$ は $n\times p$ 行列で、列はたがいに一次独立とする（階数が列数に等しい）。$H=X(X^\top X)^{-1}X^\top$ とおくと、残差平方和は $S_e=\bm\varepsilon^\top(I-H)\bm\varepsilon$ と書ける。

$I-H$ は対称冪等で、階数は $n-p$ である。よって $S_e/\sigma^2\sim\chi^2_{n-p}$ となる。この計算は第9章で行う。

標本分位点の漸近正規性

次を満たす点 $\xi_p$ を母集団の $p$ 分位点という。

$$F(\xi_p)=p\qquad(0<p<1).$$

$p=1/2$ なら中央値である。標本の側では $k_n=\lceil np\rceil$ とおく。$X_{(k_n)}$ を標本 $p$ 分位点と呼ぶ。

証明

$t$ を固定する。$x_n=\xi_p+t/\sqrt n$、$N_n=\#\{i:X_i\le x_n\}$ とおく。定理5.19 の証明と同じく、次が成り立つ。

$$P\bigl(\sqrt n(X_{(k_n)}-\xi_p)\le t\bigr)=P(X_{(k_n)}\le x_n)=P(N_n\ge k_n),\qquad N_n\sim\mathrm{Bin}(n,p_n),\quad p_n=F(x_n).$$

$f$ の連続性から $p_n=p+f(\xi_p)t/\sqrt n+o(1/\sqrt n)$ である。標準化して

$$P(N_n\ge k_n)=P\Bigl(\frac{N_n-np_n}{\sqrt{np_n(1-p_n)}}\ge\frac{k_n-np_n}{\sqrt{np_n(1-p_n)}}\Bigr).$$

右辺の境界の極限を調べる。

• 分子：$k_n=np+\mathcal{O}(1)$ から $k_n-np_n=-\sqrt n f(\xi_p)t+o(\sqrt n)$。
• 分母：$\sqrt{np(1-p)}(1+o(1))$。

よって境界は $-f(\xi_p)t/\sqrt{p(1-p)}$ に収束する。$p_n\to p$ のもとでも二項分布の標準化は標準正規に分布収束する（中心極限定理の三角配列版。ここでは各項が有界なので Lindeberg の条件が成り立つ）。よって

$$P\bigl(\sqrt n(X_{(k_n)}-\xi_p)\le t\bigr)\to1-\Phi\Bigl(-\frac{f(\xi_p)t}{\sqrt{p(1-p)}}\Bigr)=\Phi\Bigl(\frac{t}{\sqrt{p(1-p)}/f(\xi_p)}\Bigr),$$

これは $\mathrm{N}(0,p(1-p)/f(\xi_p)^2)$ の分布関数である。

中央値（$p=1/2$）では漸近分散は $1/\{4f(\xi_{1/2})^2\}$ になる。中央値の精度は、母集団の中央での密度の高さだけで決まり、裾の重さに影響されない。

分散安定化変換

例題5.4 の (2) では、$\log\bar X$ の漸近分散が母数によらなかった。これを一般化する。漸近分散が母数に依存する場合を考える。

$$\sqrt n(T_n-\theta)\xrightarrow{d}\mathrm{N}(0,\tau(\theta)^2).$$

デルタ法 (5.14) から、$g(T_n)$ の漸近分散は $g'(\theta)^2\tau(\theta)^2$ になる。これを定数1にするには $g'(\theta)=1/\tau(\theta)$、すなわち

$$g(\theta)=\int\frac{\mathrm{d}\theta}{\tau(\theta)}\tag{5.23}$$

と選べばよい。この $g$ を分散安定化変換と呼ぶ。代表例は次のとおりである。

• 指数分布の平均 $\theta=1/\lambda$ を $\bar X$ で推定する。$\tau(\theta)=\theta$ なので $g=\log$（例題5.4）。
• ポアソン分布では $\tau(\lambda)=\sqrt\lambda$ なので $g(\lambda)=2\sqrt\lambda$。すなわち $\sqrt n(2\sqrt{\bar X}-2\sqrt\lambda)\xrightarrow{d}\mathrm{N}(0,1)$。
• ベルヌーイ分布では $\tau(p)=\sqrt{p(1-p)}$ なので $g(p)=2\arcsin\sqrt p$。$\arcsin\sqrt{\bar X}$ の漸近分散は $1/(4n)$ である。

相関係数の Fisher の $z$ 変換 $\frac12\log\frac{1+r}{1-r}$ も、同じ形で得られる。正規母集団での標本相関係数の漸近分散 $(1-\rho^2)^2$ に、(5.23) を当てはめたものである。分散が母数によらなくなると、近似信頼区間を作るときに分散の中の母数を推定値で置き換える必要がなくなる。

確認テスト

オリジナル

1. 5.5-1 $A=I_n-\frac1n\bm1\bm1^\top$ が対称冪等で、階数が $n-1$ であることを示せ。
2. 5.5-2 $\mathrm{N}(\mu,\sigma^2)$ からの標本中央値を $\tilde X$ とする。$n$ が大きいときの $V[\tilde X]$ の近似値を求めよ。
3. 5.5-3 $\mathrm{Po}(\lambda)$ からの無作為標本で $\sqrt n(2\sqrt{\bar X}-2\sqrt\lambda)\xrightarrow{d}\mathrm{N}(0,1)$ を示せ。
4. 5.5-4 $Z_1,Z_2,Z_3$ を独立な $\mathrm{N}(0,1)$ とし、次の2つをおく。

$$Q_1=\frac{(Z_1-Z_2)^2}{2},\qquad Q_2=\frac{(Z_1+Z_2-2Z_3)^2}{6}.$$

定理5.22 を使って、次の3つを示せ。

• $Q_1$ と $Q_2$ は独立である。どちらも $\chi^2_1$ に従う。
• $Q_1+Q_2=\sum(Z_i-\bar Z)^2$ である。
• $Q_1+Q_2$ は $Z_1+Z_2+Z_3$ と独立である。