条件付き確率と Bayes の定理

確率論入門　第4章 §4.1　★★★ 「分かったことで確率を測り直す」規則。乗法公式・全確率の公式・Bayes の定理の3つが以後の計算の基本形

第1章から第3章までで、確率空間 $(\Omega,\mathcal F,P)$、その上の確率測度の作り方と一意性、確率変数とその分布を用意した。これらの道具は確率変数を1つずつ調べるには足りているが、2つ以上の事象や確率変数のあいだの関係を述べる言葉をまだ持っていない。

この章ではその言葉を2つ導入する。1つ目は条件付き確率で、ある事象が起きたと分かったときに確率を測り直す規則である。2つ目は独立性で、ある事象が起きたかどうかを知っても別の事象の確率が変わらないという関係を、測度の等式として書いたものである。

測度論そのものには独立という概念が無い。面積や体積を測る測度に「独立」を持ち込む動機は無いからである。確率論で最も多く使われる定理（大数の法則・中心極限定理・Borel–Cantelli の補題）は、どれも独立性を仮定して初めて成り立つ。その意味で、独立性は確率論を測度論の一分野から区別する概念になっている。

この章で使う前の章の結果を、式の形で先に書いておく。第1章 §1.4 で示した確率測度の連続性と劣加法性

$$A_n\uparrow A\ \Rightarrow\ P(A_n)\to P(A),\qquad A_n\downarrow A\ \Rightarrow\ P(A_n)\to P(A),\qquad P\Bigl(\bigcup_{n}A_n\Bigr)\le\sum_n P(A_n)\tag{4.1}$$

と、第2章 §2.3 の Dynkin の π-λ定理

$$\mathcal P\ \text{が}\ \pi\ \text{系}、\ \mathcal L\ \text{が}\ \lambda\ \text{系で}\ \mathcal P\subset\mathcal L\ \Longrightarrow\ \sigma(\mathcal P)\subset\mathcal L\tag{4.2}$$

を使う。ここで用語は次の意味である。

• π系：有限個の共通部分で閉じた集合族。
• λ系：全体 $\Omega$ を含み、補集合と互いに素な可算個の和で閉じた集合族（差と増大列で定める流儀もあり、両者は同値である）。

(4.2) の帰結として、ある π系の上で一致する2つの確率測度は、それが生成する σ加法族の上で一致する（第2章 §2.3 の一意性定理）。

第3章からは次の3つを借りる。

• 確率変数 $X$ の生成する σ加法族 $\sigma(X)=\{X^{-1}(B):B\in\mathcal B(\mathbb{R})\}$。
• 半直線による生成 $\mathcal B(\mathbb{R})=\sigma(\{(-\infty,x]:x\in\mathbb{R}\})$。
• 分布関数が分布をただ1つに定めること（第3章 §3.3）。

この章の結果の使い道も先に書いておく。独立な確率変数の積の期待値が期待値の積になること（第5章）、独立和の分布が畳み込みで書けること（第7章）、独立和の特性関数が積になること（第9章）は、どれも §4.3 の「独立なら同時分布は周辺分布の積」から出発する。§4.4 の Borel–Cantelli の補題は、概収束を示す標準の道具として第11章・第12章で繰り返し使う。条件付き確率は第14章でマルコフ性を定めるときの言葉になる。

定義と、条件付き確率が確率測度であること

サイコロを1回振る。目が偶数だと教えられたとき、目が6である確率はいくらと考えるべきだろうか。偶数の目は $\{2,4,6\}$ の3通りで、もとの確率ではどれも同じ 1/6 だから、偶数と分かった後でもこの3つは同じ重みを持つと考えるのが自然である。すると答えは 1/3 になる。

この考え方を一般化する。事象 $B$ が起きたと分かったら、標本空間をこの事象に縮める。中の各部分の確率の比はそのまま保ち、全体が1になるように $P(B)$ で割り直せばよい。

分子が $A$ でなく $A\cap B$ になっている理由は次のとおりである。$B$ が起きたと分かった以上、$A$ のうちこの事象の外にある部分はもう起こり得ない。定義から $P(B\mid B)=1$ である。また $B$ と交わらない事象には、条件付き確率 0 が割り当てられる。

証明

非負であることは定義から明らかで、$P(\Omega\mid B)=P(B)/P(B)=1$ である。σ加法性を確かめる。$A_1,A_2,\dots\in\mathcal F$ が互いに素なら、$A_1\cap B,\,A_2\cap B,\dots$ も互いに素である。さらに次が成り立つ。

$$\Bigl(\bigcup_iA_i\Bigr)\cap B=\bigcup_i(A_i\cap B)$$

$P$ の σ加法性から

$$P\Bigl(\bigcup_iA_i\Bigm| B\Bigr)=\frac{1}{P(B)}\,P\Bigl(\bigcup_i(A_i\cap B)\Bigr)=\frac{1}{P(B)}\sum_iP(A_i\cap B)=\sum_iP(A_i\mid B)$$

となる。

この命題により、第1章で示した確率測度の性質（補集合の公式・包除公式・単調性・連続性）は条件付き確率でもすべてそのまま使える。たとえば $P(A^c\mid B)=1-P(A\mid B)$ である。ただし条件の側を入れ替えた $P(A\mid B^c)$ と $P(A\mid B)$ のあいだには一般に関係が無いことに注意する。

乗法公式と全確率の公式

定義 (4.3) を $P(A\cap B)=P(B)\,P(A\mid B)$ と書き直すと、同時に起きる確率を「先に起きる事象の確率」と「それが起きたうえでの次の事象の確率」の積として計算することができる。これを繰り返したものが乗法公式である。

証明

まず右辺が定義されていることを確かめる。$k\le n-1$ について次の包含がある。

$$A_1\cap\dots\cap A_k\supset A_1\cap\dots\cap A_{n-1}$$

単調性により $P(A_1\cap\dots\cap A_k)>0$ であり、右辺の条件付き確率はすべて定義されている。

$n$ についての帰納法で示す。$n=2$ のときは定義 (4.3) そのものである。

$n-1$ まで正しいとし、$C=A_1\cap\dots\cap A_{n-1}$ と置く。定義から $P(C\cap A_n)=P(C)\,P(A_n\mid C)$ である。右辺の $P(C)$ に帰納法の仮定を使えば、(4.4) を得る。

次に、標本空間を互いに素な事象に分けて、場合分けで確率を計算する公式を作る。事象の列 $B_1,B_2,\dots$（有限でも可算無限でもよい）が互いに素で、和集合が全体 $\Omega$ に等しいとする。これを標本空間の分割と呼ぶ。

証明

$A=\bigcup_i(A\cap B_i)$ で、右辺の各項は互いに素である。σ加法性から次が成り立つ。

$$P(A)=\sum_iP(A\cap B_i)$$

各項を $P(A\cap B_i)=P(A\mid B_i)P(B_i)$ と書き直せばよい。

確率 0 の $B_i$ が混じっていても、その項 $P(A\cap B_i)$ は 0 なので、和から除いて同じ公式が成り立つ。

Bayes の定理

全確率の公式は「原因 $B_i$ ごとの、結果 $A$ の起きやすさ」から結果の確率を組み立てる。実際の場面では逆向きの問い、すなわち「結果 $A$ が観測されたとき、原因が $B_j$ である確率はいくらか」に答えたいことが多い。これに答えるのが Bayes の定理である（名前は T. Bayes に由来する）。

証明

定義から $P(B_j\mid A)=P(A\cap B_j)/P(A)$ である。分子を $P(A\mid B_j)P(B_j)$ と書き直し、分母に全確率の公式 (4.5) を使えばよい。

右辺と左辺の各量には、次の名前がある。

• $P(B_j)$ を事前確率と呼ぶ。
• $P(B_j\mid A)$ を事後確率と呼ぶ。
• $P(A\mid B_j)$ を、原因 $B_j$ の尤度と呼ぶ。

分母は $j$ によらない正規化の定数なので、(4.6) は「事後確率は尤度と事前確率の積に比例する」と読める。

確認テスト

オリジナル

1. 4.1-1 $P(B)>0$ とする。$B\subset A$ なら $P(A\mid B)=1$ であることを示せ。また $P(A^c\mid B)=1-P(A\mid B)$ を示せ。
2. 4.1-2 公正なサイコロを2個振る。(a) 目の和が8であると分かったとき、少なくとも一方の目が6である確率を求めよ。(b) 少なくとも一方の目が6であると分かったとき、目の和が8である確率を求めよ。
3. 4.1-3 ある部品は3本の製造ラインで作られ、全体に占める割合はライン1が50%、ライン2が30%、ライン3が20%である。不良品の割合はそれぞれ1%、2%、5%である。無作為に選んだ部品が不良品だったとき、それがライン3で作られた確率を求めよ。
4. 4.1-4 $P(A)>0$、$P(B)>0$ とする。$P(A\mid B)>P(A)$ と $P(B\mid A)>P(B)$ が同値であることを示せ。