二項分布

統計学の復習　第5章 §5.1　★★★ 独立なベルヌーイ試行の成功回数。確率関数は「どの回が成功か」の並べ方の数で決まり、平均 $np$・分散 $np(1-p)$ は0か1の和への分解で出る

この章は、対策本の第12章（離散型確率分布）に当たる。目次の写真で確かめられなかった頁に入っていると見られる超幾何分布と負の二項分布も、公式の出題範囲表に明記されているのでここで扱う。

第4章で、とびとびの値をとる確率変数 $X$ の分布は確率関数 $P(X=k)$ の表で決まり、期待値 $E[X]=\sum_k kP(X=k)$ と分散 $V[X]=E[X^2]-E[X]^2$ がそこから計算できることを確かめた。この章では、2級で名前の付いた離散分布を5つ取り上げ、それぞれについて次の3つを紙の上で最後まで導く。第一に、確率関数がなぜその式になるかを、根元事象の数え方から出す。第二に、期待値と分散を、定義どおりの和の計算と、「0か1をとる確率変数の和に分ける」計算の2通りで出す。第三に、分布どうしの極限の関係（二項分布からポアソン分布へ、超幾何分布から二項分布へ）を、極限操作を省かずに示す。

5つの分布は、試行の仕組みで次のように分かれる。成功確率 $p$ の独立な試行を「回数を決めて」繰り返せば成功の回数が二項分布に、「成功するまで」繰り返せば試行の回数が幾何分布（1回目の成功まで）や負の二項分布（$r$ 回目の成功まで）に従う。有限個の箱から「戻さずに」抜き出すと試行が独立でなくなり、当たりの個数は超幾何分布に従う。二項分布で試行の回数を増やしながら成功確率を小さくした極限がポアソン分布である。

1級との関係では、この章の確率関数は統計数理の大問で尤度 $L(\theta)$ を書く最初の1行になる。確率母関数で期待値と分散を出す型を §5.1 で1回だけ示すが、積率母関数による一般的な扱いと分布の一意性は数理統計の解説 第2章 §2.4 と第3章 §3.1 で扱う。

ベルヌーイ試行と二項分布の確率関数

結果が「成功」と「失敗」の2通りしかない試行をベルヌーイ試行と呼ぶ。成功の確率を $p$、失敗の確率を $q=1-p$ と書く。1回のベルヌーイ試行で、成功なら $1$、失敗なら $0$ をとる確率変数 $B$ を考えると、$P(B=1)=p$、$P(B=0)=q$ である。この分布をベルヌーイ分布と呼ぶ。$B$ は $0$ か $1$ しかとらないので $B^2=B$ が成り立ち、

$$E[B]=1\cdot p+0\cdot q=p,\qquad E[B^2]=E[B]=p,\qquad V[B]=p-p^2=pq$$

となる。$V[B]=p(1-p)$ は $p=1/2$ で最大値 $1/4$ をとり、$p$ が $0$ や $1$ に近いほど小さい。結果がほぼ決まっている試行ほどばらつかない、という当然の事実の式による表現である。

式 (5.1) は次のように数えて得る。$n$ 回の結果を「成功を $S$、失敗を $F$」の長さ $n$ の列で書くと、成功がちょうど $k$ 回の列は、$n$ 個の位置から成功の位置を $k$ 個選ぶ方法の数だけあり、その数は $\binom nk$ である。試行は独立なので、成功の位置を1つ決めた列が起こる確率は、各回の確率の積 $p^kq^{n-k}$ になり、どの位置を選んでも同じ値である。互いに排反なこれらの列の確率を足すと $\binom nk p^kq^{n-k}$ になる。総和が $1$ になることは二項定理から $\sum_{k=0}^n\binom nkp^kq^{n-k}=(p+q)^n=1^n=1$ と確かめられ、分布の名前もこの展開に由来する。

二項分布を使ってよいのは、(i) 試行の回数 $n$ が前もって決まっている、(ii) 各回の成功確率がすべて同じ $p$、(iii) 各回の結果が独立、の3条件がそろうときである。箱から玉を取り出して戻す（復元抽出）なら3条件がそろうが、戻さない（非復元抽出）と (ii) と (iii) が崩れて、§5.4 の超幾何分布になる。

期待値と分散の3通りの導出

証明1（0か1の和に分ける）

$i$ 回目の試行が成功なら $1$、失敗なら $0$ をとる確率変数を $B_i$ とすると、成功の回数は $X=B_1+B_2+\cdots+B_n$ と書くことができる。期待値の線形性（第4章）から $E[X]=\sum_{i=1}^nE[B_i]=np$ である。$B_1,\dots,B_n$ は独立なので、第7章で示す「独立な確率変数の和の分散は分散の和」を使って $V[X]=\sum_{i=1}^nV[B_i]=npq$ となる。

証明2（確率関数の和を直接計算する）

$k\ge1$ のとき $k\binom nk=k\cdot\dfrac{n!}{k!\,(n-k)!}=n\cdot\dfrac{(n-1)!}{(k-1)!\,(n-k)!}=n\binom{n-1}{k-1}$ が成り立つ。これを使い、$j=k-1$ と置き直すと

$$\begin{aligned} E[X]&=\sum_{k=1}^nk\binom nkp^kq^{n-k}=np\sum_{k=1}^n\binom{n-1}{k-1}p^{k-1}q^{(n-1)-(k-1)}\\ &=np\sum_{j=0}^{n-1}\binom{n-1}{j}p^jq^{n-1-j}=np(p+q)^{n-1}=np. \end{aligned}$$

分散は $E[X^2]$ を直接計算するより、階乗モーメント $E[X(X-1)]$ を先に出す方が和が簡単になる。$k\ge2$ で $k(k-1)\binom nk=n(n-1)\binom{n-2}{k-2}$ なので、同じ置き直しで

$$E[X(X-1)]=n(n-1)p^2\sum_{k=2}^n\binom{n-2}{k-2}p^{k-2}q^{n-k}=n(n-1)p^2(p+q)^{n-2}=n(n-1)p^2.$$

$E[X^2]=E[X(X-1)]+E[X]$ だから

$$V[X]=E[X(X-1)]+E[X]-E[X]^2=n(n-1)p^2+np-n^2p^2=np-np^2=npq.\quad\square$$

証明1は短いが、独立な和の分散の公式（第7章）を借りている。証明2は第4章の定義だけで閉じている。2つが同じ答えを出すことは、計算の検算としても使える。3つ目の方法が次の確率母関数である。

確率母関数で期待値と分散を出す

非負の整数値をとる確率変数 $X$ に対して、

$$G_X(s)=E\bigl[s^X\bigr]=\sum_{k=0}^\infty P(X=k)\,s^k\qquad(\lvert s\rvert \le1)\tag{5.2}$$

を $X$ の確率母関数と呼ぶ。確率関数を係数に持つべき級数で、$s=1$ では $G_X(1)=\sum_kP(X=k)=1$ である。$s$ で項ごとに微分してから $s=1$ と置くと

$$G_X'(1)=\sum_kkP(X=k)=E[X],\qquad G_X''(1)=\sum_kk(k-1)P(X=k)=E[X(X-1)]\tag{5.3}$$

となる。したがって $V[X]=G_X''(1)+G_X'(1)-G_X'(1)^2$ である。階乗モーメント $E[X(X-1)]$ が自然に出てくるのは、$s^k$ を2回微分すると $k(k-1)s^{k-2}$ になるからである。

二項分布では、二項定理から

$$G_X(s)=\sum_{k=0}^n\binom nk(ps)^kq^{n-k}=(q+ps)^n$$

となる。微分すると $G_X'(s)=np(q+ps)^{n-1}$、$G_X''(s)=n(n-1)p^2(q+ps)^{n-2}$ で、$s=1$ では $q+p=1$ なので $G_X'(1)=np$、$G_X''(1)=n(n-1)p^2$ となり、証明2と同じ値が1行で出る。

確率母関数には、もう1つの性質がある。$X$ と $Y$ が独立なら $s^X$ と $s^Y$ も独立なので $G_{X+Y}(s)=E[s^X]E[s^Y]=G_X(s)G_Y(s)$ となり、独立な和の母関数は母関数の積になる。また、べき級数の係数は関数から一意に決まるので、$G_X$ が分かれば確率関数が決まる。たとえば $X\sim\mathrm{Bin}(m,p)$ と $Y\sim\mathrm{Bin}(n,p)$ が独立なら $G_{X+Y}(s)=(q+ps)^{m+n}$ で、これは $\mathrm{Bin}(m+n,p)$ の母関数だから $X+Y\sim\mathrm{Bin}(m+n,p)$ である（成功確率が同じ二項分布の再生性。確率関数の畳み込みによる直接の証明は確認テスト 5.1-3）。積率母関数 $E[e^{tX}]$ による同じ型の議論と、連続分布への拡張は、数理統計の解説 第2章 §2.4 で扱う。

確率の比と最頻値、「少なくとも1回」の計算

二項分布の確率関数は、隣り合う $k$ の比をとると見通しがよくなる。$1\le k\le n$ で

$$\frac{P(X=k)}{P(X=k-1)}=\frac{\binom nk}{\binom n{k-1}}\cdot\frac pq=\frac{n-k+1}{k}\cdot\frac pq\tag{5.4}$$

であり、この比が $1$ より大きいことは $(n-k+1)p>kq$、すなわち $k<(n+1)p$ と同値である。したがって確率は $k<(n+1)p$ の間は増え、$k>(n+1)p$ になると減る。最頻値は $(n+1)p$ を超えない最大の整数で、$(n+1)p$ がちょうど整数のときは $(n+1)p-1$ と $(n+1)p$ の2つが同じ確率で最大になる（例題 5.2）。

「少なくとも1回成功する」確率を和 $\sum_{k=1}^nP(X=k)$ で計算するのは手間がかかる。余事象は「1回も成功しない」で、その確率は $q^n$ の1項だけなので

$$P(X\ge1)=1-P(X=0)=1-q^n\tag{5.5}$$

とする。「〜以上」「少なくとも」と書かれた問いは、まず余事象の項数が少ないかどうかを確かめる。これはポアソン分布でも同じである。

確認テスト

オリジナル

1. 5.1-1 ベルヌーイ分布 $\mathrm{Bin}(1,p)$ の分散を $p$ の関数として書き、最大になる $p$ と最大値を答えよ。
2. 5.1-2 $X\sim\mathrm{Bin}(8,0.25)$ のとき、$P(X\le1)$ と $P(X\ge2)$ を小数第4位まで求めよ。
3. 5.1-3 $X\sim\mathrm{Bin}(m,p)$ と $Y\sim\mathrm{Bin}(n,p)$ が独立のとき、$P(X+Y=k)=\sum_jP(X=j)P(Y=k-j)$ を計算して $X+Y\sim\mathrm{Bin}(m+n,p)$ を示せ。等式 $\sum_j\binom mj\binom n{k-j}=\binom{m+n}k$（Vandermonde の等式）は、$m+n$ 個から $k$ 個を選ぶ方法を「最初の $m$ 個から何個選ぶか」で分けて数えることで示せ。
4. 5.1-4 $X\sim\mathrm{Bin}(n,p)$ に対して成功の割合 $\hat p=X/n$ を考える。$E[\hat p]$ と $V[\hat p]$ を求めよ。$p=0.5$ のとき、$\hat p$ の標準偏差を $0.02$ 以下にするのに必要な $n$ の最小値を求めよ。