事象と確率

数理統計　第1章 §1.1　★ 確率の公理から加法定理・包除原理・連続性を導き、等確率モデルの数え上げに使う

統計学のあらゆる計算は「事象に確率を割り当てる規則」の上に立っている。第2章以降で確率変数・分布・期待値を定義するときも、推定量の性質を調べるときも、最後に使うのはこの章で定める確率の性質である。

この章では、確率を3つの公理から出発して定義し、そこから補集合・和事象・包除原理・確率の連続性を導く。次に条件付き確率を定義して、乗法定理・全確率の公式・Bayes の定理を導き、事象の独立性を定める。

最後の発展的事項では、無限個の事象を扱う Borel–Cantelli の補題と、条件付けで漸化式を立てる第一歩解析（ギャンブラーの破産問題）を扱う。

資格試験の数理の科目で、この章の内容が大問1つ全体になることは少ない。それでも、Bayes の定理は第10章のベイズ推定の出発点であり、条件付けによって漸化式を立てる手続きは第12章のマルコフ連鎖でそのまま使う。包除原理による数え上げは、順序統計量や離散分布の小問の途中で現れる。この章の目標は、これらを「知っている」状態から「答案に途中式つきで書ける」状態にすることである。

標本空間・事象・確率の公理

試行の結果として起こりうるもの全体の集合を標本空間と呼び、$\Omega$ で表す。$\Omega$ の要素 $\omega$ を根元事象（標本点）と呼ぶ。たとえばさいころを1回投げる試行では $\Omega=\{1,2,\dots,6\}$ であり、「偶数の目が出る」は部分集合 $A=\{2,4,6\}$ で表される。

このように、事象は $\Omega$ の部分集合として表す。事象の和・積・補集合は、集合の演算と同じである。

$$\text{和 } A\cup B\ ({A}\text{ または }{B}),\qquad \text{積 } A\cap B\ ({A}\text{ かつ }{B}),\qquad \text{補集合 } A^c\ ({A}\text{ でない}).$$

積が空集合 $A\cap B=\emptyset$ になるとき、2つの事象は排反であるという。

$\Omega$ が有限集合なら、すべての部分集合を事象として扱ってよい。$\Omega$ が実数直線のような非可算集合になると、すべての部分集合に矛盾なく確率を割り当てることはできないことが知られている。そこで、確率を割り当てる部分集合の集まりを次のように定める。

条件 2・3 と de Morgan の法則 $\bigcap A_i=(\bigcup A_i^c)^c$ から、$\mathcal F$ は可算個の積についても閉じている。1級の試験で $\sigma$-加法族そのものを問われることはまずないが、(P3) の可算加法性は次の確率の連続性（定理1.4）の証明で使い、連続性は極限を含む確率の計算（第5章の収束、§1.3 の Borel–Cantelli の補題）で使う。

公理から導かれる基本性質

証明

1. 列 $A_1=\Omega$、$A_2=A_3=\cdots=\emptyset$ は互いに排反である。(P3) から

$$P(\Omega)=P(\Omega)+\sum_{i\ge2}P(\emptyset).$$

$P(\Omega)=1$ は有限なので、和 $\sum_{i\ge2}P(\emptyset)$ は 0 である。(P1) と合わせて $P(\emptyset)=0$。

2. $A_{n+1}=A_{n+2}=\cdots=\emptyset$ を付け加えて (P3) を使い、1 を代入する。

3. 事象とその補集合は排反で、和は全体 $\Omega$ である。2 と (P2) から $P(A)+P(A^c)=1$。

4. $A\subset B$ なら、$B=A\cup(B\setminus A)$ と排反に分解できる。よって

$$P(B)=P(A)+P(B\setminus A).$$

$P(B\setminus A)\ge0$ から $P(A)\le P(B)$。$A\subset\Omega$ に使えば $P(A)\le1$。

5. 分解 $A\cup B=A\cup(B\setminus(A\cap B))$ は排反である。$A\cap B\subset B$ だから、4 より

$$P(B\setminus(A\cap B))=P(B)-P(A\cap B).$$

2 と合わせて加法定理 $P(A\cup B)=P(A)+P(B)-P(A\cap B)$ を得る。

6. 次のように $B_k$ をおく。

$$B_1=A_1,\qquad B_k=A_k\setminus(A_1\cup\cdots\cup A_{k-1})\quad(k\ge2).$$

$B_k$ は互いに排反で、しかも $B_k\subset A_k$ である。和は $\bigcup_{k=1}^n B_k=\bigcup_{k=1}^n A_k$ をみたす。2 と 4 から

$$P\Bigl(\bigcup A_k\Bigr)=\sum P(B_k)\le\sum P(A_k).$$

可算個のときは 2 の代わりに (P3) を使う。

証明の 6 で使った「先に出てきた事象を取り除いて排反な列に直す」操作は、この章で何度も使う。和事象の確率を扱うときは、まず排反な事象の和に書き直してから加法性を使う、という順序で考えればよい。

包除原理

加法定理を3個以上の事象に広げたものが包除原理である。

証明

$n$ についての帰納法で示す。$n=1$ は自明で、$n=2$ は加法定理である。$n$ 個で成り立つとして、$B=A_1\cup\cdots\cup A_n$ とおく。加法定理から

$$P(B\cup A_{n+1})=P(B)+P(A_{n+1})-P(B\cap A_{n+1}),\qquad B\cap A_{n+1}=\bigcup_{i=1}^n(A_i\cap A_{n+1}).$$

右辺の $P(B)$ と $P(B\cap A_{n+1})$ のそれぞれに、帰納法の仮定（包除原理）を使う。

$$\begin{aligned}P(B)&=\sum_{k=1}^n(-1)^{k-1}\!\!\sum_{i_1<\cdots<i_k\le n}\!\!P(A_{i_1}\cap\cdots\cap A_{i_k}),\\ P(B\cap A_{n+1})&=\sum_{k=1}^n(-1)^{k-1}\!\!\sum_{i_1<\cdots<i_k\le n}\!\!P(A_{i_1}\cap\cdots\cap A_{i_k}\cap A_{n+1}).\end{aligned}$$

事象 $A_1,\dots,A_{n+1}$ から $k$ 個を選ぶ積の和を考える。これを $S_k^{(n+1)}$ と書く。和の各項は次の2種類に分かれる。

1. $A_{n+1}$ を含まない積。これは $P(B)$ の展開の第 $k$ 項に当たる。
2. $A_{n+1}$ を含む積。$k=1$ なら $P(A_{n+1})$ そのものである。2個以上の積なら、$P(B\cap A_{n+1})$ の展開の第 $k-1$ 項に当たる。

$P(B\cap A_{n+1})$ には負号がついている。その第 $k-1$ 項の符号は次のとおりで、1 の側の符号と一致する。

$$-(-1)^{k-2}=(-1)^{k-1}.$$

よって $P(B\cup A_{n+1})=\sum_{k=1}^{n+1}(-1)^{k-1}S_k^{(n+1)}$ が成り立つ。

包除原理は「少なくとも1つ起こる」確率を、積事象の確率から計算する道具である。積事象の確率は、等確率モデルでは数え上げが易しいことが多い。特に、補集合をとって「どれも起こらない」確率

$$P\Bigl(\bigcap_{i=1}^n A_i^c\Bigr)=1-S_1+S_2-\cdots+(-1)^nS_n=\sum_{k=0}^n(-1)^kS_k\qquad(S_0=1)\tag{1.2}$$

の形で使うことが多い。さらに $A_i$ たちが対称なら、$k$ 個の積の確率は組合せに依存しない。その共通の値を $p_k$ とすると、和は $S_k=\binom nk p_k$ と簡単になる。

確率の連続性

証明

1. 次のように $B_n$ をおく。

$$B_1=A_1,\qquad B_n=A_n\setminus A_{n-1}\quad(n\ge2).$$

これらは互いに排反で、$\bigcup_{k=1}^nB_k=A_n$ と $\bigcup_{k=1}^\infty B_k=A$ をみたす。(P3) から

$$P(A)=\sum_{k=1}^\infty P(B_k)=\lim_{n\to\infty}\sum_{k=1}^nP(B_k)=\lim_{n\to\infty}P(A_n).$$

2 の証明は確認テスト 1.1-4 とする。

定理1.4 は、確率という集合関数と単調な極限の順序を交換してよいことを述べている。たとえば、確率変数 $X$ の分布関数 $F(x)=P(X\le x)$ は右連続である（第2章）。事象の列 $\{X\le x+1/n\}$ は減少し、その積は $\{X\le x\}$ である。これに定理1.4 の 2 を使えば、右連続性が示せる。

等確率モデルと数え上げ

$\Omega$ が有限集合で、どの根元事象も同じ確率 $1/\lvert \Omega\rvert$ をもつとき、有限加法性から

$$P(A)=\frac{\lvert A\rvert }{\lvert \Omega\rvert }\tag{1.3}$$

となる（$\lvert A\rvert$ は $A$ の要素数）。このモデルで確率を求める仕事は、$\Omega$ と $A$ の要素を数えることに帰着する。基本になる数は次の2つである。$n$ 個の異なるものから $k$ 個を取る。

$$\text{選んで並べる順列の数}\ \frac{n!}{(n-k)!},\qquad \text{並べずに選ぶ組合せの数}\ \binom nk=\frac{n!}{k!(n-k)!}.$$

数え上げで間違えないために、根元事象を「区別できるものの並び」として設定し、その上で等確率性が成り立っていることを先に確かめるとよい。たとえば赤玉 $a$ 個と白玉 $b$ 個の入った袋がある。ここから $n$ 個を非復元で取り出す。玉に番号をつけて「どの $n$ 個の組が出たか」を根元事象にすると、$\binom{a+b}{n}$ 通りが等確率になる。赤がちょうど $k$ 個である組は $\binom ak\binom b{n-k}$ 通りなので

$$P(\text{赤が}k\text{個})=\frac{\binom ak\binom b{n-k}}{\binom{a+b}n}\tag{1.4}$$

を得る。これが第3章で扱う超幾何分布の確率関数である。

確認テスト

オリジナル

1. 1.1-1 任意の事象 $A,B$ について $P(A\cap B)\ge P(A)+P(B)-1$ を示せ（Bonferroni の不等式）。
2. 1.1-2 次の確率が与えられている。

$$P(A)=0.5,\qquad P(B)=0.4,\qquad P(A\cup B)=0.7.$$

このとき $P(A\cap B)$ と $P(A\cap B^c)$ を求めよ。さらに $P(A^c\cap B^c)$ を求めよ。3. 1.1-3 赤玉4個と白玉6個の入った袋から3個を非復元で取り出す。赤玉がちょうど2個である確率と、赤玉が少なくとも1個である確率を求めよ。4. 1.1-4 定理1.4 の 2（減少列の場合）を、1 と補集合を使って示せ。5. 1.1-5 $n$ 人の誕生日が独立に365日の各日に等確率で決まるとする（うるう年は考えない）。少なくとも2人の誕生日が一致する確率を $n$ の式で書き、$n=23$ のときの値を小数第4位まで求めよ。