離散確率分布

数理統計　第3章 §3.1　★★ 二項・ポアソン・幾何・負の二項・超幾何・多項。平均と分散は指示関数か母関数で導く

第2章では、確率関数・確率密度関数・期待値・母関数・変数変換を一般の形で定義した。この章では、それらを具体的な分布の族に当てはめ、統計の議論で繰り返し現れる分布を一つずつ作る。扱う分布は、離散側が二項・ポアソン・幾何・負の二項・超幾何・多項の6つ、連続側が一様・正規・指数・ガンマ・カイ二乗・ベータの6つと、そのほかに対数正規・コーシー・ワイブル・ラプラスの4つである。

1級の記述式の問題は、分布の性質を覚えているかどうかを直接には問わない。問われるのは、この章で作る関係を答案の上で導き直す手続きである。たとえば次のような問いが出る。

$X_i$ が指数分布に従うとき、$\sum X_i$ の分布を積率母関数で求めよ。そこから $2\lambda\sum X_i$ がカイ二乗分布に従うことを示せ。

そこで本章では、平均・分散・積率母関数を結果として並べるのでなく、毎回定義から計算して導く。とくに次の4つの関係は、第5章の標本分布、第6章の推定、第7章の検定、第8章の区間推定で何度も使うので、証明を省かずに書く。

1. 二項分布の極限としてのポアソン分布と、独立なポアソン変数の和を条件にした二項分布。
2. 指数分布の和がガンマ分布になり、ガンマ分布の特別な場合がカイ二乗分布になること。
3. ガンマ分布の待ち時間とポアソン分布の個数の双対性。
4. 独立な2つのガンマ変数の比がベータ分布になり、和と独立になること。

最後の §3.3 では、これらの分布をまとめて扱う枠組みとして指数型分布族を導入し、混合分布（階層モデル）と無限分解可能性を扱う。

本章を通して、第2章 §2.4 で定義した確率母関数 $G_X(s)=E[s^X]$ と積率母関数 $M_X(t)=E[e^{tX}]$ を使う。とくに次の2つの事実を繰り返し使うので、ここに式の形で書いておく。

$$X,Y\ \text{が独立}\ \Longrightarrow\ M_{X+Y}(t)=M_X(t)\,M_Y(t),\qquad G_{X+Y}(s)=G_X(s)\,G_Y(s),\tag{3.1}$$

また、積率母関数が $t=0$ を含む開区間で存在して一致する2つの分布は等しい（一意性定理）。母関数から積率を取り出す式は

$$E[X]=M_X'(0)=G_X'(1),\qquad E[X^2]=M_X''(0),\qquad E[X(X-1)]=G_X''(1)\tag{3.2}$$

である。

• 左の等式：$M_X(t)=E[e^{tX}]$ を $t$ で微分する。そこへ $t=0$ を代入すると $E[X e^{0}]=E[X]$ になる。
• 右の等式：$G_X(s)=\sum_k P(X=k)s^k$ を2回微分して $s=1$ を代入する。すると $\sum_k k(k-1)P(X=k)$ になる。

ベルヌーイ分布と二項分布

成功の確率が $p$ の試行を1回行い、成功なら 1、失敗なら 0 をとる確率変数 $X$ の分布をベルヌーイ分布と呼ぶ。以下、$q=1-p$ と書く。$P(X=1)=p$、$P(X=0)=q$ なので

$$E[X]=p,\qquad E[X^2]=p,\qquad V[X]=p-p^2=pq$$

である。

二項分布は、成功確率 $p$ の独立な試行を $n$ 回行ったときの成功回数の分布である。$n$ 回のうち特定の $k$ 回が成功で残りが失敗という1つの列を考える。その確率は、独立性から $p^kq^{n-k}$ である。

成功の位置の選び方が $\binom nk$ 通りあり、それらは互いに排反なので (3.3) を得る。二項定理 $\sum_k\binom nk p^kq^{n-k}=(p+q)^n=1$ が、確率の総和が 1 であることを保証する。

証明

$i$ 回目の試行が成功なら 1 をとる指示変数を $I_i$ とする。$I_1,\dots,I_n$ は独立なベルヌーイ変数で、$X=\sum_{i=1}^n I_i$ である。

$$\begin{aligned}E[X]&=\textstyle\sum E[I_i]=np &&\text{（期待値の線形性）}\\ V[X]&=\textstyle\sum V[I_i]=npq &&\text{（独立な変数の和の分散は分散の和）}\\ G_X(s)&=(q+ps)^n &&\text{（$G_{I_i}(s)=q+ps$ と (3.1)）}\\ M_X(t)&=(q+pe^t)^n &&\text{（}{s=e^t}\text{ を代入）}\end{aligned}$$

最後に $G_{X+Y}(s)=(q+ps)^n(q+ps)^m=(q+ps)^{n+m}$ は $\mathrm{Bin}(n+m,p)$ の確率母関数である。確率母関数は確率関数を係数に持つ冪級数なので、一致すれば分布も一致する。

成功確率が異なる $\mathrm{Bin}(n,p_1)$ と $\mathrm{Bin}(m,p_2)$ の和は二項分布にならない。$(q_1+p_1s)^n(q_2+p_2s)^m$ は$(q+ps)^{n+m}$ の形に書くことができないからである。再生性を使う答案では、母数のどれが共通であるかを必ず確認する。

ポアソン分布

指数関数の級数 $\sum_{k\ge0}\lambda^k/k!=e^\lambda$ から総和は 1 になる。確率母関数は

$$G_X(s)=\sum_{k=0}^\infty e^{-\lambda}\frac{(\lambda s)^k}{k!}=e^{-\lambda}e^{\lambda s}=e^{\lambda(s-1)}, \qquad M_X(t)=e^{\lambda(e^t-1)}$$

である。$r$ 階微分して $s=1$ を代入すると、次の 階乗積率を得る。

$$E[X(X-1)\cdots(X-r+1)]=G_X^{(r)}(1)=\lambda^r\tag{3.5}$$

$r=1$ とすると $E[X]=\lambda$ である。$r=2$ とすると $E[X(X-1)]=\lambda^2$ である。したがって

$$V[X]=E[X(X-1)]+E[X]-E[X]^2=\lambda^2+\lambda-\lambda^2=\lambda .$$

平均と分散がともに $\lambda$ に等しいことがポアソン分布の特徴で、計数データの分散が平均より大きい（過分散）ときはポアソン分布が合っていないことの手がかりになる（§3.3 の混合分布で扱う）。

証明

$k$ を固定して確率関数を3つの因子に分ける。

$$\binom nk p_n^k(1-p_n)^{n-k} =\underbrace{\frac{n(n-1)\cdots(n-k+1)}{n^k}}_{(\mathrm{a})}\cdot\frac{(np_n)^k}{k!}\cdot\underbrace{(1-p_n)^{n}}_{(\mathrm{b})}\cdot\underbrace{(1-p_n)^{-k}}_{(\mathrm{c})}.$$

• (a) は $\prod_{j=0}^{k-1}(1-j/n)$ である。有限個の因子がそれぞれ 1 に収束するので 1 に収束する。
• $np_n\to\lambda$ から $p_n\to0$ なので、(c) は 1 に収束する。また $(np_n)^k/k!\to\lambda^k/k!$ である。
• (b) は対数をとる。$x\to0$ で $\log(1-x)=-x+\mathcal{O}(x^2)$ なので

$$n\log(1-p_n)=-np_n+n\,\mathcal{O}(p_n^2)=-np_n+\mathcal{O}(np_n\cdot p_n)\to-\lambda$$

となり、(b) は $e^{-\lambda}$ に収束する。

3つの極限を掛け合わせれば主張を得る。

積率母関数で見ても同じ結論が出る。

$$(1+p_n(e^t-1))^n=\exp\{n\log(1+p_n(e^t-1))\}\to\exp\{\lambda(e^t-1)\}.$$

「試行の回数は多いが1回あたりの成功確率は小さく、成功の平均回数 $np$ はほどほど」という状況の個数は、ポアソン分布で近似される。図 3.1 は $\mathrm{Bin}(20,0.1)$ と $\mathrm{Po}(2)$ を並べたものである。$n=20$ でもすでに近い。

独立なポアソン変数の和を考える。$X\sim\mathrm{Po}(\lambda)$ と $Y\sim\mathrm{Po}(\mu)$ が独立なら

$$G_{X+Y}(s)=e^{\lambda(s-1)}e^{\mu(s-1)}=e^{(\lambda+\mu)(s-1)}$$

なので、$X+Y\sim\mathrm{Po}(\lambda+\mu)$ である（再生性）。この和を条件にすると、個々の変数は二項分布に従う。次の例題で確かめる。

(2) の結果は、2つのポアソン母数の比 $\lambda/(\lambda+\mu)$ についての検定や区間推定を、合計 $n$ を固定した二項分布の問題に帰着させるときに使う。条件付けによって局外母数 $\lambda+\mu$ が分布から消えることが要点である。

幾何分布と負の二項分布

本によっては幾何分布を「最初の成功までの試行回数」$X+1$（値は $1,2,\dots$）で定義する。平均が 1 だけずれるので、答案ではどちらの定義を使うかを最初に書く。

(3.7) は次のように数えて得る。$Y=k$ となるのは、次の2つが同時に起きるときである。

• 最後の第 $r+k$ 試行が成功する。
• それより前の $r+k-1$ 回のうち、成功がちょうど $r-1$ 回である。このとき失敗は $k$ 回である。

失敗の位置の選び方が $\binom{r+k-1}{k}$ 通りあり、どの列の確率も $p^rq^k$ である。

幾何分布の裾は

$$P(X\ge k)=\sum_{j\ge k}pq^j=\frac{pq^k}{1-q}=q^k$$

で、ここから無記憶性

$$P(X\ge k+m\mid X\ge k)=\frac{q^{k+m}}{q^k}=q^m=P(X\ge m)\tag{3.8}$$

が従う。すでに $k$ 回失敗したという条件を付けても、その先の失敗回数の分布は変わらない。試行が独立で毎回同じ確率で成功するので、過去の失敗を数え直す理由が無いということを式にしたものである。

名前の「負の二項」は、次の一般化二項係数による。

$$\binom{-r}{k}=\frac{(-r)(-r-1)\cdots(-r-k+1)}{k!}=(-1)^k\binom{r+k-1}{k}.$$

負の指数の二項展開

$$(1-q)^{-r}=\sum_{k\ge0}\binom{-r}{k}(-q)^k=\sum_{k\ge0}\binom{r+k-1}{k}q^k$$

を使えば、(3.7) の総和が $p^r(1-q)^{-r}=1$ になることがわかる。この形で書くと $r$ は正の実数でもよく、§3.3 のポアソン・ガンマ混合で $r$ が実数の負の二項分布が現れる。

超幾何分布

$\binom Nn$ 通りの抜き出し方が等しい確率で起こる。そのうち印付きから $k$ 個、印なしから $n-k$ 個を選ぶ。

その方法は $\binom Mk\binom{N-M}{n-k}$ 通りある。よって (3.9) を得る。2×2 分割表の Fisher の正確検定は、周辺和を固定したときのセルの度数がこの分布に従うことを使う（第7章）。

証明

指示変数 $I_j$ を「$j$ 番目に抜いたものが印付きなら 1」と定める。ここで $j=1,\dots,n$ である。$X=\sum_j I_j$ である。

• 抜き出しは無作為なので、$j$ 番目に出るものは $N$ 個のどれも等しい確率をとる。よって $P(I_j=1)=M/N=p$。
• $i\ne j$ とする。同じ理由で、$i$ 番目と $j$ 番目の組には、相異なる順序対が等しい確率で出る。順序対は $N(N-1)$ 通りある。よって

$$P(I_i=1,\,I_j=1)=\frac{M(M-1)}{N(N-1)}.$$

したがって

$$\mathrm{Cov}(I_i,I_j)=\frac{M(M-1)}{N(N-1)}-\frac{M^2}{N^2}=\frac{M\{N(M-1)-M(N-1)\}}{N^2(N-1)}=-\frac{M(N-M)}{N^2(N-1)}=-\frac{pq}{N-1}.$$

平均は $E[X]=\sum E[I_j]=np$ である。分散は、和の分散の公式

$$V\Bigl[\sum I_j\Bigr]=\sum_jV[I_j]+\sum_{i\ne j}\mathrm{Cov}(I_i,I_j)$$

から

$$V[X]=npq+n(n-1)\Bigl(-\frac{pq}{N-1}\Bigr)=npq\Bigl(1-\frac{n-1}{N-1}\Bigr)=npq\,\frac{N-n}{N-1}. \quad\square$$

平均は二項分布 $\mathrm{Bin}(n,p)$ と同じで、分散は二項分布の分散に有限母集団修正 $(N-n)/(N-1)$ を掛けたものになる。非復元抽出では、印付きが1つ出るとその後は印付きが出にくくなるので、指示変数どうしの共分散が負になり、分散が小さくなる。

• $n=N$（全数を抜く）なら $X=M$ に確定して、分散は 0 である。
• 逆に $N\to\infty$ で $M/N\to p$ なら、修正は 1 に近づく。(3.9) は $\mathrm{Bin}(n,p)$ の確率関数に収束する。

多項分布

係数 $n!/(x_1!\cdots x_K!)$ は、$n$ 回の試行を結果ごとの組に分ける方法の数である。組の大きさは $x_1,\dots,x_K$ である。

$K=2$ なら二項分布に戻る。各 $X_i$ だけを見れば、「結果 $i$ か否か」の試行を繰り返した成功回数である。試行の回数は $n$ である。よって周辺分布は $\mathrm{Bin}(n,p_i)$ である。

共分散を求める。各試行と各結果の組について指示変数 $I_{ti}$ を定める。試行 $t$ の結果が $i$ なら 1、それ以外なら 0 とする。

• 同じ試行の中では、$i\ne j$ なら $I_{ti}I_{tj}=0$ である。よって $\mathrm{Cov}(I_{ti},I_{tj})=0-p_ip_j$。
• 異なる試行どうしは独立で、共分散は 0 である。

$X_i=\sum_tI_{ti}$ を足し上げて

$$\mathrm{Cov}(X_i,X_j)=-np_ip_j\qquad(i\ne j)\tag{3.12}$$

を得る。合計が $n$ に固定されているので、一方が多ければ他方は少なくなり、共分散は負になる。第7章の適合度検定で使うピアソンのカイ二乗統計量は、この多項分布を出発点にしている。

確認テスト

オリジナル

1. 3.1-1 $X\sim\mathrm{Ge}(p)$ とする。$P(X\ge k)=q^k$ を確かめ、無記憶性 (3.8) を導け。
2. 3.1-2 $X\sim\mathrm{Po}(\lambda)$ について $E[X(X-1)(X-2)]$ を求めよ。それを使って $E[X^3]$ と3次の中心積率 $E[(X-\lambda)^3]$ を求めよ。
3. 3.1-3 $X\sim\mathrm{HG}(20,8,5)$ について、次を求めよ。

$$P(X=2),\qquad E[X],\qquad V[X]$$

また復元抽出の場合の分布 $\mathrm{Bin}(5,0.4)$ の分散と比べよ。4. 3.1-4 $(X_1,\dots,X_K)\sim\mathrm{Mn}(n;p_1,\dots,p_K)$ とし、$i\ne j$ とする。$V[X_i+X_j]$ を次の2通りで求めて一致を確かめよ。

1. (a) 共分散の公式を使う。
2. (b) 結果 $i$ または $j$ を1つの結果とみなす。

さらに相関係数 $\rho(X_i,X_j)$ を求めよ。5. 3.1-5 $Y\sim\mathrm{NB}(3,0.4)$ について、次を求めよ。

$$P(Y=2),\qquad E[Y],\qquad V[Y]$$