発展的事項

数理統計　第3章 §3.3　★★ 指数型分布族の積率の公式、混合分布の平均と分散、無限分解可能性。第6・7章の十分統計量と最強力検定の準備になる

指数型分布族

ここまでの分布の多くは、母数とデータが指数関数の中で「母数の関数 × データの関数」の積の形でしか結び付かないという共通の構造を持つ。

定義から、分布の台 $\{x: f(x;\theta)>0\}=\{x: h(x)>0\}$ は $\theta$ によらない。したがって $\mathrm{U}(0,\theta)$ のように台が母数とともに動く分布は指数型分布族に入らない。主な分布の正準形は次のとおりである。

• $\mathrm{Bin}(n,p)$（$n$ は既知）：

$$\binom nx p^xq^{n-x}=\binom nx\exp\{x\log(p/q)+n\log q\}$$

なので、次のようにとる。

$$h(x)=\binom nx,\quad T(x)=x,\quad \eta=\log(p/q),\quad \kappa(\eta)=n\log(1+e^\eta).$$

最後の式は、$q=1/(1+e^\eta)$ から $-n\log q=n\log(1+e^\eta)$ となることによる。

• $\mathrm{Po}(\lambda)$：$e^{-\lambda}\lambda^x/x!=\frac{1}{x!}\exp\{x\log\lambda-\lambda\}$ である。よって

$$T(x)=x,\quad \eta=\log\lambda,\quad \kappa(\eta)=e^\eta .$$

• $\mathrm{N}(\mu,\sigma^2)$（両方未知）：指数の中を展開すると

$$-\frac{x^2}{2\sigma^2}+\frac{\mu x}{\sigma^2}-\frac{\mu^2}{2\sigma^2}-\frac12\log(2\pi\sigma^2)$$

である。よって $\bm T(x)=(x,x^2)$、$\bm\eta=(\mu/\sigma^2,\,-1/(2\sigma^2))$。

• $\mathrm{Ga}(\alpha,\beta)$（両方未知）：例題 3.5 で扱う。

証明

$\kappa$ の定義 $e^{\kappa(\bm\eta)}=\int h(x)e^{\bm\eta^\top\bm T(x)}dx$ を使うと

$$E[e^{\bm s^\top\bm T}]=\int h(x)e^{(\bm\eta+\bm s)^\top\bm T(x)-\kappa(\bm\eta)}dx=e^{\kappa(\bm\eta+\bm s)-\kappa(\bm\eta)}.$$

$\bm\eta$ は内点なので、$\bm s$ が小さければ右辺は有限である。したがって $\bm T$ のキュムラント母関数（積率母関数の対数）は

$$K(\bm s)=\kappa(\bm\eta+\bm s)-\kappa(\bm\eta)$$

である。その1階偏微分の $\bm s=\bm0$ での値が平均、2階偏微分の値が共分散である。

1変数の場合で確かめる。$K=\log M$ から

$$K'=\frac{M'}{M},\qquad K''=\frac{M''}{M}-\Bigl(\frac{M'}{M}\Bigr)^2 .$$

$s=0$ において $M=1$ なので、次のようになる。

$$K'(0)=E[T],\qquad K''(0)=E[T^2]-E[T]^2 .$$

ポアソン分布なら $\kappa(\eta)=e^\eta$ なので、$E[X]=V[X]=e^\eta=\lambda$。二項分布なら

$$\kappa'(\eta)=\frac{ne^\eta}{1+e^\eta}=np,\qquad \kappa''(\eta)=\frac{ne^\eta}{(1+e^\eta)^2}=npq$$

で、命題 3.2 と一致する。母関数を毎回計算しなくても、正準形にすれば $\kappa$ の微分だけで平均と分散が出る。

この構造は後の章で次のように使う。

• 第6章：標本 $X_1,\dots,X_n$ の同時密度は

$$\prod h(x_i)\exp\Bigl\{\bm\eta^\top\sum_i\bm T(x_i)-n\kappa(\bm\eta)\Bigr\}$$

となる。ここから $\sum_i\bm T(X_i)$ が十分統計量になる。尤度方程式は

$$\frac1n\sum_i\bm T(X_i)=\nabla\kappa(\bm\eta)$$

すなわち「十分統計量の標本平均＝その期待値」になる。Fisher 情報量は $\kappa$ の2階微分である。

• 第7章：$\eta$ が $\theta$ の単調関数である1母数の族を考える。そこでは単調尤度比が成り立ち、片側検定の一様最強力検定が作られる。

(2) の結果から、ガンマ分布の最尤推定の尤度方程式は次のようになる。

$$\frac1n\sum\log X_i=\psi(\alpha)+\log\beta,\qquad \bar X=\alpha\beta .$$

これが $\alpha$ について閉じた形で解けない理由である（第11章の Newton 法の例）。

混合分布と階層モデル

母数そのものが確率変数であるようなモデルを考える。たとえば次の2段で書いたモデルである。

1. $\Lambda$ がある分布に従う。
2. $\Lambda$ の値を与えたとき、$X$ がその値を母数とするポアソン分布に従う。

このようなモデルを階層モデルと呼ぶ。そのときの $X$ の周辺分布を混合分布と呼ぶ。

混合分布の平均と分散は、次の2つの公式で求める。条件付き期待値は第4章 §4.2 で定義する。ここでは $E[X\mid Y]$ が $Y$ の関数である確率変数であることだけを使う。

$$E[X]=E\bigl[E[X\mid Y]\bigr],\qquad V[X]=E\bigl[V[X\mid Y]\bigr]+V\bigl[E[X\mid Y]\bigr].\tag{3.26}$$

後者は次のように示す。$V[X\mid Y]=E[X^2\mid Y]-E[X\mid Y]^2$ の期待値をとったものと、$V[E[X\mid Y]]$ の定義を並べる。

$$\begin{aligned}E\bigl[V[X\mid Y]\bigr]&=E[X^2]-E\bigl[E[X\mid Y]^2\bigr],\\ V\bigl[E[X\mid Y]\bigr]&=E\bigl[E[X\mid Y]^2\bigr]-E[X]^2 .\end{aligned}$$

2式を足せば $E[X^2]-E[X]^2=V[X]$ になる。

条件付きの揺らぎの平均と、条件付き平均の揺らぎの和が全体の分散になる。母数が揺らぐ分だけ、混合分布の分散は条件付き分布の分散より大きくなる。

計数データの分散が平均よりはっきり大きいとき、個体ごとに発生率 $\lambda$ がばらついていると考えてこのモデルを当てはめる。第10章のベイズ推定では、$\Lambda$ の分布を事前分布とみなす。$X=k$ を観測したあとの $\Lambda$ の条件付き分布（事後分布）は、再びガンマ分布

$$\mathrm{Ga}\bigl(\alpha+k,\ \beta/(1+\beta)\bigr)$$

になる。(1) の被積分関数がこの密度に比例していることから分かる。

無限分解可能性

確率変数 $X$ が次の性質を持つとき、$X$ の分布は無限分解可能であるという。

任意の正の整数 $n$ について、独立同一分布に従う $n$ 個の確率変数の和と同じ分布を持つ。

$$X\overset{d}{=}Y_{n,1}+\cdots+Y_{n,n}$$

積率母関数で言えば、各 $n$ について $M_X(t)^{1/n}$ がまた何かの分布の積率母関数になることである。

• $\mathrm{Po}(\lambda)$：$e^{\lambda(e^t-1)}=\{e^{(\lambda/n)(e^t-1)}\}^n$ である。$Y_{n,i}\sim\mathrm{Po}(\lambda/n)$ ととればよい。
• $\mathrm{N}(\mu,\sigma^2)$：$Y_{n,i}\sim\mathrm{N}(\mu/n,\sigma^2/n)$。
• $\mathrm{Ga}(\alpha,\beta)$：$(1-\beta t)^{-\alpha}=\{(1-\beta t)^{-\alpha/n}\}^n$ である。$Y_{n,i}\sim\mathrm{Ga}(\alpha/n,\beta)$ ととればよい。$\mathrm{NB}(r,p)$ も同様に $\mathrm{NB}(r/n,p)$ に分ける。

一方、退化していない有界な分布は無限分解可能でない。$\lvert X\rvert \le c$ とする。$X$ が独立同一な $Y_{n,1},\dots,Y_{n,n}$ の和に分解されたとする。

1. もし $P(Y_{n,1}>c/n)=\delta>0$ なら、独立性から

$$P(X>c)\ge P(\text{すべての }Y_{n,i}>c/n)=\delta^n>0$$

となって矛盾する。よって $Y_{n,1}\le c/n$。下側も同様で、$\lvert Y_{n,1}\rvert \le c/n$ である。2. すると、すべての $n$ で次が成り立つ。

$$V[X]=nV[Y_{n,1}]\le n(c/n)^2=c^2/n .$$

よって $V[X]=0$ となる。

したがって $0<p<1$ の $\mathrm{Bin}(n,p)$ は無限分解可能でない。$\mathrm{U}(a,b)$ も同様である。無限分解可能な分布は、短い時間区間の増分を足し合わせて作る確率過程の、1時点の分布として現れる（ポアソン過程やブラウン運動、第12章）。

確認テスト

オリジナル

1. 3.3-1 $\mathrm{U}(0,\theta)$（$\theta>0$ が母数）が指数型分布族でない理由を1行で述べよ。
2. 3.3-2 $X\sim\mathrm{Po}(\lambda)$ とする。$X=n$ を与えたとき $Y\sim\mathrm{Bin}(n,p)$ とする。これは、$X$ 個のそれぞれを確率 $p$ で独立に残すことに当たる。次を示せ。

$$Y\sim\mathrm{Po}(\lambda p),\qquad X-Y\sim\mathrm{Po}(\lambda q),\qquad Y\text{ と }X-Y\text{ は独立}.$$

また $\lambda=4$、$p=0.25$ とする。$P(Y=0)$ を求めよ。3. 3.3-3 $P\sim\mathrm{Beta}(a,b)$ とする。$P=p$ を与えたとき $X\sim\mathrm{Bin}(n,p)$ とする（ベータ二項分布）。 $E[X]$ と $V[X]$ を求めよ。また $n=10$、$a=b=2$ とする。そのときの値を、$\mathrm{Bin}(10,0.5)$ の分散と比べよ。4. 3.3-4 $\mathrm{N}(\mu,\sigma^2)$ を正準形に書け。$\kappa(\eta_1,\eta_2)$ を $\eta_1,\eta_2$ で表せ。定理 3.20 から $E[X]$ と $E[X^2]$ を導け。