離散分布

確率論入門　第6章 §6.1　★★★ 成功・失敗の試行の繰り返しから生まれる分布の一族。数えるだけで平均と分散まで出る

第3章で、確率変数の分布は分布関数と一対一に対応し、離散分布は確率関数で、絶対連続分布は密度で書けることを見た。第5章では、その分布に対する期待値を Lebesgue 積分として作った。この章では、その一般論の上で、実際の計算に繰り返し現れる分布を名前つきで並べる。

扱う分布は次の13個である。

• 離散分布：Bernoulli・二項・幾何・負の二項・Poisson・超幾何の6つ。
• 連続分布：一様・指数・正規・ガンマ・ベータ・Cauchy と多変量正規の7つ。

どの分布についても、それがどういう試行から生じるか、確率の総和が 1 になること、平均と分散を、途中の計算を省かずに確かめる。最後の節では、これらの分布が互いにどう結びついているか（二項の極限としての Poisson、指数の和としてのガンマ、正規の和がまた正規であること）を示す。

この章で使う前の章の結果を、式の形で先に書いておく。第3章 §3.4 の離散分布の確率関数 $p(x)=P(X=x)$ と密度 $f$ については、

$$P(X\in B)=\sum_{x\in B}p(x),\qquad P(X\in B)=\int_Bf(x)\,\mathrm{d} x\qquad(B\in\mathcal B(\mathbb{R}))\tag{6.1}$$

が成り立つ。第5章 §5.3 の変数変換公式により、Borel 可測な関数 $g$ について次が成り立つ（右辺が絶対収束するとき）。

$$E[g(X)]=\sum_xg(x)\,p(x)\quad(\text{離散}),\qquad E[g(X)]=\int_{\mathbb{R}}g(x)f(x)\,\mathrm{d} x\quad(\text{密度あり})\tag{6.2}$$

分散と共分散は

$$V[X]=E[(X-E[X])^2]=E[X^2]-E[X]^2,\qquad\mathrm{Cov}(X,Y)=E[XY]-E[X]E[Y]$$

であり、第5章 §5.4 から

$$V[aX+b]=a^2V[X],\qquad V\Bigl[\sum_{i=1}^nX_i\Bigr]=\sum_{i=1}^nV[X_i]+2\sum_{i<j}\mathrm{Cov}(X_i,X_j)\tag{6.3}$$

が成り立つ。$X_1,\dots,X_n$ が独立なら、共分散はすべて 0 である。非負の関数の重積分は、積分の順序を交換してよい（第5章の Tonelli の定理）。

独立性については、第4章 §4.3 の次の判定法を使う。独立であることは、同時分布が周辺分布の積であることと同値である。密度があれば、同時密度が周辺密度の積であることと同値である。

この章の分布は以後のほぼすべての章に現れる。

• 第7章では、変数変換と畳み込みで分布を作り直す。第8章と第9章では、母関数と特性関数でこの章の結果を別の道から導き直す。
• 第12章・第13章の極限定理では、二項分布と Poisson 分布と正規分布が具体例として使われる。
• 第14章では、指数分布とガンマ分布と Poisson 分布が Poisson 過程の中で組み合わさる。

この節の分布は、Poisson 分布を除いて、すべて「成功か失敗かが決まる試行」から作られる。同じ試行を独立に繰り返すとき、何を数えるかで分布が決まる。

• 何回のうち何回成功したかを数えれば、二項分布になる。
• 初めて成功するまで何回かかったかを数えれば、幾何分布になる。
• $r$ 回目の成功まで何回かかったかを数えれば、負の二項分布になる。

試行が独立でなく、有限個のものから戻さずに取り出す場合が超幾何分布である。

Bernoulli 分布と二項分布

(6.4) の総和が 1 になることは、二項定理そのものである。

$$\sum_k\binom nkp^k(1-p)^{n-k}=(p+(1-p))^n=1$$

二項分布がどこから来るかを確かめておく。$X_1,\dots,X_n$ を独立で、どれも $\mathrm{Ber}(p)$ に従うとする。$S_n=X_1+\dots+X_n$ と置く。$S_n=k$ となるのは、ちょうど $k$ 個が 1 で残りが 0 のときである。

1 になる番号の組を1つ決めると、独立性からその並びの確率は $p^k(1-p)^{n-k}$ である。番号の組の選び方は $\binom nk$ 通りある。異なる並びは互いに素な事象なので、

$$P(S_n=k)=\binom nkp^k(1-p)^{n-k}$$

となり、$S_n\sim\mathrm{Bin}(n,p)$ である。成功確率 $p$ の試行を独立に $n$ 回行ったときの成功の回数が二項分布に従う、と言い換えてもよい。

証明

Bernoulli 分布では $E[X]=1\cdot p+0\cdot(1-p)=p$、$E[X^2]=p$ である。よって $V[X]=p-p^2$ である。

二項分布の平均と分散は分布だけで決まるので、上の和 $S_n$ で計算してよい。期待値の線形性から $E[S_n]=np$ である。独立性と (6.3) から $V[S_n]=np(1-p)$ である。

和に分けずに確率関数から直接計算することもできる。$k\ge1$ について $k\binom nk=n\binom{n-1}{k-1}$ が成り立つので、

$$E[X]=\sum_{k=1}^nk\binom nkp^k(1-p)^{n-k}=np\sum_{k=1}^{n}\binom{n-1}{k-1}p^{k-1}(1-p)^{(n-1)-(k-1)}=np$$

となる（最後の和は $\mathrm{Bin}(n-1,p)$ の確率の総和）。同じく $k(k-1)\binom nk=n(n-1)\binom{n-2}{k-2}$ から、$E[X(X-1)]=n(n-1)p^2$ である。よって

$$V[X]=E[X(X-1)]+E[X]-E[X]^2=n(n-1)p^2+np-n^2p^2=np(1-p)$$

を得る。

$E[X(X-1)]$ のように、$X(X-1)\cdots(X-r+1)$ の期待値を階乗モーメントと呼ぶ。整数値の分布では、二項係数や階乗と相性がよいので、$E[X^2]$ を直接計算するより短く済むことが多い。

幾何分布と負の二項分布

成功確率 $p\in(0,1]$ の試行を独立に繰り返す。初めて成功した回の番号を $X$ とする。$X=k$ となるのは、最初の $k-1$ 回が失敗し、その次が成功したときである。よって $P(X=k)=(1-p)^{k-1}p$ である。

(6.7) が「$r$ 回目の成功が $k$ 回目に起きる確率」であることを確かめる。そうなるのは、$k$ 回目が成功で、それより前にちょうど $r-1$ 回の成功があるときである。前の $k-1$ 回の中の成功の位置の選び方は、$\binom{k-1}{r-1}$ 通りある。どの並びも確率 $p^r(1-p)^{k-r}$ を持つ。

総和が 1 になることは、幾何分布では等比級数で確かめられる。

$$\sum_{k\ge1}(1-p)^{k-1}p=\frac{p}{1-(1-p)}=1$$

負の二項分布の総和は、次の命題の表し方から自動的に従う。

証明

自然数 $k_1,\dots,k_r$ を固定する。事象 $\{G_1=k_1,\dots,G_r=k_r\}$ は、最初の $k_1+\dots+k_r$ 回の並びを1通りに決める。その並びは $r$ 個の成功と $\sum_j(k_j-1)$ 個の失敗からなる。独立性から

$$P(G_1=k_1,\dots,G_r=k_r)=\prod_{j=1}^r(1-p)^{k_j-1}p$$

である。右辺は各 $k_j$ の関数の積になっている。1つの番号以外について和をとると、各 $G_j$ の確率関数が (6.6) だと分かる。同時確率関数が周辺確率関数の積に分かれるので、$G_1,\dots,G_r$ は独立である（第4章 §4.3）。

平均と分散を計算する。$|x|<1$ で $\sum_{k\ge0}x^k=1/(1-x)$ を項別に微分すると、

$$\sum_{k\ge1}kx^{k-1}=\frac1{(1-x)^2},\qquad\sum_{k\ge2}k(k-1)x^{k-2}=\frac2{(1-x)^3}$$

である。$q=1-p$ と置くと

$$E[G_1]=\sum_{k\ge1}kq^{k-1}p=\frac{p}{(1-q)^2}=\frac1p,\qquad E[G_1(G_1-1)]=pq\sum_{k\ge2}k(k-1)q^{k-2}=\frac{2pq}{p^3}=\frac{2q}{p^2}$$

となり、

$$V[G_1]=\frac{2q}{p^2}+\frac1p-\frac1{p^2}=\frac{q}{p^2}$$

を得る。和の平均と分散は線形性と (6.3) から出る。

幾何分布は「すでに $m$ 回失敗した」という情報を受けても、残りの待ち回数の分布が変わらない。実際、最初の $n$ 回がすべて失敗する確率は $P(X>n)=(1-p)^n$ なので

$$P(X>m+n\mid X>m)=\frac{(1-p)^{m+n}}{(1-p)^m}=(1-p)^n=P(X>n)\tag{6.9}$$

が成り立つ。この性質を無記憶性と呼ぶ。正の整数に値をとる分布で無記憶性を持つものは、幾何分布に限られる（確認テスト 6.1-4）。連続分布での同じ性質は §6.2 で指数分布を特徴づける。

Poisson 分布

総和が 1 になることは、指数関数の級数 $\sum_k\lambda^k/k!=\mathrm{e}^\lambda$ から従う。Poisson 分布は、多数回の独立な試行のそれぞれで、まれにしか起きない事象が起きる回数の分布として現れる。これは §6.3 で、$np$ を一定に保って $n\to\infty$ とした二項分布の極限として示す。

一定時間内の放射性崩壊の数、ある日の問い合わせの件数のように、機会は多いが1回ごとの確率が小さい数え上げの標準的なモデルになっている。

証明

$k<r$ の項は $k(k-1)\cdots(k-r+1)=0$ なので、

$$E[X(X-1)\cdots(X-r+1)]=\sum_{k\ge r}\frac{k!}{(k-r)!}\mathrm{e}^{-\lambda}\frac{\lambda^k}{k!}=\lambda^r\mathrm{e}^{-\lambda}\sum_{k\ge r}\frac{\lambda^{k-r}}{(k-r)!}=\lambda^r.$$

とくに $E[X]=\lambda$、$E[X(X-1)]=\lambda^2$ である。よって $V[X]=\lambda^2+\lambda-\lambda^2=\lambda$ である。

平均と分散が等しいことは、Poisson 分布をデータに当てはめるときの簡単な点検に使われる。数えたデータの分散が平均より明らかに大きければ（過分散）、Poisson 分布より裾の広い負の二項分布などを考える。

超幾何分布

$N$ 個のもののうち $K$ 個に印がついているとする。そこから $n$ 個を戻さずに無作為に取り出す。どの組も同じ確率 $1/\binom Nn$ で選ばれるとし、取り出した中の印つきの個数を $X$ とする。印つきから $k$ 個、印なしから $n-k$ 個を選ぶ組の数を数えると、次の確率関数を得る。

総和が 1 であることは、選ぶ組を「印つきから何個選んだか」で分類したと考えれば明らかである。式としては Vandermonde の恒等式 $\sum_k\binom Kk\binom{N-K}{n-k}=\binom Nn$ である。

証明

取り出す操作を「全部を無作為に1列に並べ、先頭の $n$ 個を取る」と言い換える。番号 $i$ のものが印つきなら $I_i=1$、そうでなければ 0 と置く。$X=I_1+\dots+I_n$ である。並べ方の対称性から、次のようになる。

• $i$ 番目が印つきである確率は $K/N$。
• $i\ne j$ のとき、2つがともに印つきである確率は $\frac{K}{N}\cdot\frac{K-1}{N-1}$。

よって $E[X]=nK/N=np$ で、

$$\mathrm{Cov}(I_i,I_j)=\frac{K(K-1)}{N(N-1)}-\frac{K^2}{N^2}=\frac{K}{N}\cdot\frac{N(K-1)-K(N-1)}{N(N-1)}=-\frac{K(N-K)}{N^2(N-1)}=-\frac{p(1-p)}{N-1}.$$

(6.3) に $V[I_i]=p(1-p)$ と、組の数 $n(n-1)/2$ を入れると

$$V[X]=np(1-p)-n(n-1)\frac{p(1-p)}{N-1}=np(1-p)\Bigl(1-\frac{n-1}{N-1}\Bigr)=np(1-p)\frac{N-n}{N-1}$$

となる。

平均は戻して取り出す場合（$\mathrm{Bin}(n,p)$）と同じだが、分散には $\frac{N-n}{N-1}$ という 1 以下の因子がつく。戻さずに取り出すと、印つきを1つ取ったぶんだけ次に印つきを取る確率が下がる。そのため $I_i$ どうしが負の相関を持つからである。

この因子を有限母集団修正と呼ぶ。$n=N$ なら全部を取り出すので $X=K$ が確定し、分散は 0 になる。

確認テスト

オリジナル

1. 6.1-1 $X\sim\mathrm{Ber}(p)$ なら $X^2=X$ である。これを使って $V[X]=p(1-p)$ を示せ。また分散が最大になる $p$ と最大値を答えよ。
2. 6.1-2 $X\sim\mathrm{Po}(\lambda)$ とする。(a) $P(X=k)/P(X=k-1)$ を計算せよ。$\lambda=3.5$ のとき、確率を最大にする $k$ とその確率（小数第4位まで）を求めよ。(b) $E[X^3]$ を $\lambda$ で表せ。
3. 6.1-3 $X\sim\mathrm{Geo}(p)$ とする。非負整数値の確率変数について成り立つ $E[X]=\sum_{n\ge0}P(X>n)$ を示せ。これを使って $E[X]=1/p$ を導け。
4. 6.1-4 正の整数に値をとる確率変数 $X$ が、すべての非負整数 $m,n$ で次を満たすとする。

$$P(X>m)>0,\qquad P(X>m+n\mid X>m)=P(X>n)$$

$X$ が幾何分布に従うことを示せ。