幾何分布と負の二項分布

統計学の復習　第5章 §5.3　★★ 「成功するまで」続ける試行の回数。幾何分布は平均 $1/p$・無記憶性を持つ唯一の離散分布で、$r$ 回目の成功までの回数（負の二項分布）は幾何分布 $r$ 個の和になる

幾何分布の確率関数と裾の確率

$X=k$ は「最初の $k-1$ 回がすべて失敗で、$k$ 回目が成功」という1通りの列で、独立性からその確率は $q^{k-1}p$ である。確率が公比 $q$ の等比数列になることが名前の由来である。総和は等比級数で $\sum_{k=1}^\infty q^{k-1}p=p/(1-q)=1$ となる。

裾の確率 $P(X>k)$ は、和をとるより事象で考える方が早い。「$k$ 回目までに成功しない」は「最初の $k$ 回がすべて失敗」と同じ事象なので

$$P(X>k)=q^k\qquad(k=0,1,2,\dots)\tag{5.9}$$

である（和で確かめる計算は確認テスト 5.3-1）。

期待値と分散

証明

期待値は裾の確率の和で計算できる。非負の整数値をとる $X$ では、$X=\sum_{j=0}^\infty\mathbf 1\{X>j\}$（$X=k$ なら $j=0,\dots,k-1$ の $k$ 個の項が $1$ になる）と書けるので、両辺の期待値をとって

$$E[X]=\sum_{j=0}^\infty P(X>j)=\sum_{j=0}^\infty q^j=\frac1{1-q}=\frac1p.$$

分散には階乗モーメントを使う。$\lvert x\rvert <1$ で等比級数 $\sum_{k=0}^\infty x^k=(1-x)^{-1}$ を項ごとに2回微分すると $\sum_{k=2}^\infty k(k-1)x^{k-2}=2(1-x)^{-3}$ である。$x=q$ と置いて

$$E[X(X-1)]=\sum_{k=2}^\infty k(k-1)q^{k-1}p=pq\sum_{k=2}^\infty k(k-1)q^{k-2}=\frac{2pq}{(1-q)^3}=\frac{2q}{p^2}.$$

よって

$$V[X]=E[X(X-1)]+E[X]-E[X]^2=\frac{2q}{p^2}+\frac1p-\frac1{p^2}=\frac{2q+p-1}{p^2}=\frac{q}{p^2}.\quad\square$$

$E[X]=1/p$ は、確率 $1/6$ の目が出るまでには平均6回かかる、という直観と合う。確率母関数は $G_X(s)=\sum_kq^{k-1}ps^k=ps/(1-qs)$（$\lvert qs\rvert <1$）で、ここから同じ期待値と分散を出すこともできる。

無記憶性

幾何分布の最も大事な性質は、すでに何回失敗したかが、この先の待ち回数に影響しないことである。

証明

前半：$\{X>m+k\}\subset\{X>m\}$ なので、条件付き確率の定義と式 (5.9) から

$$P(X>m+k\mid X>m)=\frac{P(X>m+k)}{P(X>m)}=\frac{q^{m+k}}{q^m}=q^k=P(X>k).$$

後半：$g(k)=P(X>k)$ と置く。等式は $g(m+k)=g(m)g(k)$ と書き直すことができる。$X$ は正の整数値なので $g(0)=1$ である。$g(1)=r$ と置くと、$m=1$ として $g(k+1)=r\,g(k)$ が全ての $k$ で成り立ち、$g(0)=1$ から順に $g(k)=r^k$ である。よって $P(X=k)=g(k-1)-g(k)=r^{k-1}(1-r)$ で、$p=1-r$ と置けば式 (5.8) に一致する。

この定理は、正の整数値の分布の中で無記憶性を持つのは幾何分布だけであることを示している。サイコロで6の目が10回続けて出なかったとしても、11回目に6が出る確率は $1/6$ のままであり、「そろそろ出るはずだ」という考えは独立な試行では成り立たない。連続の時間で同じ性質を持つ唯一の分布が指数分布で、ポアソン分布と指数分布の関係は、二項分布と幾何分布の関係と平行している（第6章で扱う）。

負の二項分布

幾何分布は「1回目の成功まで」の試行の回数だった。これを「$r$ 回目の成功まで」に広げる。

$X=k$ となるのは、(i) $k$ 回目が成功で、(ii) それより前の $k-1$ 回の中に成功がちょうど $r-1$ 回ある、の2つが同時に起こるときである。(ii) の確率は二項分布の $\binom{k-1}{r-1}p^{r-1}q^{k-r}$ で、(i) は $k$ 回目だけで決まるので (ii) と独立であり、確率は $p$ である。積をとって式 (5.10) を得る。「$k$ 回中 $r$ 回成功」の二項分布と違い、最後の回が成功だと決まっているので、並べ方は残りの $k-1$ 回の中だけで数える。

総和が $1$ になることは、$\lvert x\rvert <1$ で成り立つ展開

$$(1-x)^{-r}=\sum_{j=0}^\infty\binom{r+j-1}{j}x^j$$

（等比級数 $(1-x)^{-1}=\sum x^j$ を $r-1$ 回微分して $(r-1)!$ で割ると得られる）で $x=q$、$j=k-r$ と置き、$\binom{k-1}{k-r}=\binom{k-1}{r-1}$ を使って $\sum_kP(X=k)=p^r(1-q)^{-r}=1$ と確かめられる。この展開は指数が負の二項展開なので、「負の二項分布」の名前が付いている。

証明

(1) $1$ 回目の成功までの回数を $G_1$、そこから $2$ 回目の成功までの回数を $G_2$、…、$r-1$ 回目から $r$ 回目の成功までの回数を $G_r$ とすると $X=G_1+\cdots+G_r$ である。各回の試行は独立で、成功した直後から先の試行は最初からやり直したのと同じ状況なので、$G_1,\dots,G_r$ は独立に、同じ幾何分布に従う。定理 5.8 と期待値の線形性から $E[X]=r/p$、独立な和の分散の加法性（第7章）から $V[X]=rq/p^2$ である。

(2) 「$r$ 回目の成功が $k$ 回目までに起きる」ことと「最初の $k$ 回の中に成功が $r$ 回以上ある」ことは同じ事象である。前者の確率が $P(X\le k)$、後者の確率が $P(W\ge r)$ である。

(2) は、待ち回数の分布の確率を、試行の回数を固定した二項分布の確率に読み替える式である。負の二項分布の確率関数を $r$ から $k$ まで足す代わりに、二項分布の確率を少数の項で計算すればよい。同じ形の関係は、連続の時間ではガンマ分布とポアソン分布の間に成り立つ（数理統計の解説 第3章 §3.2 で扱う）。

確認テスト

オリジナル

1. 5.3-1 試行の回数で数えた幾何分布について、$P(X>k)=\sum_{j=k+1}^\infty q^{j-1}p$ を等比級数で計算し、$q^k$ になることを確かめよ。
2. 5.3-2 失敗の回数 $Y=X-1$ の確率関数を書き、$E[Y]$ と $V[Y]$ を求めよ。
3. 5.3-3 正の整数値をとる確率変数 $X$ が $P(X=1)=0.2$ と無記憶性を満たすとき、$P(X=4)$ と $P(X\ge4)$ を求めよ。
4. 5.3-4 当たりの確率が $0.2$ のくじを、2本当たるまで（引いたくじは毎回元に戻して）引き続ける。引く回数を $X$ とするとき、$E[X]$・$V[X]$・$P(X\le4)$ を求めよ。