条件付き確率と事象の独立性

数理統計　第1章 §1.2　★★ 乗法定理・全確率の公式・Bayes の定理と独立性の定義。第10章のベイズ推定と第12章のマルコフ連鎖の出発点

条件付き確率

この定義は、等確率モデルで考えると自然である。$B$ が起こったと分かれば、起こりうる根元事象は $B$ の中に限られる。その中で $A$ も起こる根元事象の割合は次のとおりである。

$$\frac{\lvert A\cap B\rvert }{\lvert B\rvert }=\frac{P(A\cap B)}{P(B)}.$$

つまり条件付けとは、標本空間を $B$ に取り替えて確率を測り直す操作である。この見方が正しいことは、次の命題で保証される。

証明

(P1) は $P(A\cap B)\ge0$ から従う。(P2) は $P(\Omega\mid B)=P(B)/P(B)=1$。(P3) を示す。$A_i$ が互いに排反なら、$A_i\cap B$ も互いに排反である。よって

$$P\Bigl(\bigcup A_i\Bigm| B\Bigr)=\frac{P(\bigcup(A_i\cap B))}{P(B)}=\frac{\sum P(A_i\cap B)}{P(B)}=\sum P(A_i\mid B).$$

乗法定理と全確率の公式

定義 (1.5) の分母を払うと $P(A\cap B)=P(B)P(A\mid B)$ になる。これを繰り返すと次の定理を得る。

証明

$A_1\supset A_1\cap A_2\supset\cdots$ なので、単調性から途中の積事象の確率もすべて正で、右辺の条件付き確率はすべて定義される。右辺を定義 (1.5) で書き直すと次の形になる。

$$P(A_1)\cdot\frac{P(A_1\cap A_2)}{P(A_1)}\cdot\frac{P(A_1\cap A_2\cap A_3)}{P(A_1\cap A_2)}\cdots$$

隣り合う分子と分母が約分されて左辺が残る。

乗法定理は、試行が段階的に進むときに使う。各段階での条件付き確率は問題の設定から直接読めることが多く、全体の確率はそれを掛けて求まる。第12章のマルコフ連鎖で、経路の確率を推移確率の積で書くのはこの定理の特別な場合である。

証明

$A=A\cap\Omega=\bigcup_i(A\cap B_i)$ で、$A\cap B_i$ は互いに排反である。加法性から $P(A)=\sum_iP(A\cap B_i)$。各項に $P(A\cap B_i)=P(B_i)P(A\mid B_i)$ を代入する。

全確率の公式は「場合分けしてから足し合わせる」操作を式にしたものである。$A$ の確率が直接は分からない場合でも、原因 $B_i$ を1つ固定すれば確率が分かる、という状況で使う。

Bayes の定理

証明

定義から $P(B_j\mid A)=P(A\cap B_j)/P(A)$。分子に $P(A\cap B_j)=P(B_j)P(A\mid B_j)$ を、分母に全確率の公式 (1.7) を代入する。

Bayes の定理は、条件付けの向きを逆にする公式である。

• $P(A\mid B_j)$ は「原因 $B_j$ のもとで結果が起こる確率」で、問題の設定から分かることが多い。
• 知りたいのは逆向きの $P(B_j\mid A)$、つまり「結果を見たときに原因が $B_j$ である確率」である。

3つの確率を次のように呼ぶ（尤度は $j$ の関数として見る）。

$$P(B_j)\ \text{＝\textbf{事前確率}},\qquad P(B_j\mid A)\ \text{＝\textbf{事後確率}},\qquad P(A\mid B_j)\ \text{＝\textbf{尤度}}.$$

分母は $j$ によらないので、

$$P(B_j\mid A)\ \propto\ P(B_j)\,P(A\mid B_j)\tag{1.9}$$

と書ける。事後確率は「事前確率 × 尤度」を、総和が 1 になるように正規化したものになる。

第10章のベイズ推定では、分割 $\{B_j\}$ を母数 $\theta$ の値に置き換え、事象を観測データに置き換える。そして (1.9) を密度で書いた次の式を使う。

$$\pi(\theta\mid x)\propto\pi(\theta)f(x\mid\theta).$$

事象の独立性

$P(B)>0$ なら、独立性は $P(A\mid B)=P(A)$ と同じである。つまり、$B$ が起こったと知っても $A$ の確率が変わらないことを意味する。積の形で定義しておくと、$P(B)=0$ の場合も含めて2つの事象を対称に扱える。

証明

$A=(A\cap B)\cup(A\cap B^c)$ は排反な分解なので

$$\begin{aligned}P(A\cap B^c)&=P(A)-P(A\cap B)=P(A)-P(A)P(B)\\ &=P(A)\{1-P(B)\}=P(A)P(B^c).\end{aligned}$$

これで組 $(A,B^c)$ の独立性が示せた。2つの事象の役割を入れ替えれば、組 $(A^c,B)$ も独立である。この組に同じ議論を使えば、組 $(A^c,B^c)$ も独立である。

3個以上の事象の独立性は、2個ずつの独立性だけでは足りない。

条件 (1.10) は $k=2,\dots,n$ のすべての組についての式で、全部で $2^n-n-1$ 本ある。$k=2$ の式だけが成り立つことを対ごとに独立という。対ごとに独立でも相互に独立とは限らない。公正な硬貨を2回投げ、次の3つの事象を考える。

$$A=\text{「1回目が表」},\qquad B=\text{「2回目が表」},\qquad C=\text{「2回の結果が同じ」}.$$

4通りの結果が等確率なので $P(A)=P(B)=P(C)=1/2$ で、

$$P(A\cap B)=P(\{\text{表表}\})=\tfrac14,\quad P(A\cap C)=P(\{\text{表表}\})=\tfrac14,\quad P(B\cap C)=P(\{\text{表表}\})=\tfrac14$$

だから対ごとに独立である。しかし $P(A\cap B\cap C)=P(\{\text{表表}\})=1/4\ne1/8$ で、相互には独立でない。1回目と2回目の結果が分かれば、$C$ の結果は決まってしまう。3つを同時に見ると独立でないのは当然である。

確率変数の独立性（第4章）は事象の相互独立を使って定義する。「$X_1,\dots,X_n$ が独立」とは、どんな集合 $I_1,\dots,I_n$ を取っても次の事象が相互に独立であることである。

$$\{X_1\in I_1\},\ \dots,\ \{X_n\in I_n\}.$$無作為標本（第5章）の i.i.d. の「i（独立）」はこの意味である。

例題1.3 の2回の検査は、$D$ のもとでも $D^c$ のもとでも条件付き独立と仮定した。それでも $T_1$ と $T_2$ は独立ではない。実際 $P(T_1)=P(T_2)=0.0293$ に対し、積事象の確率は

$$P(T_1\cap T_2)=0.01\times0.9025+0.99\times0.0004=0.009421$$

で、$0.0293^2\approx0.000858$ よりはるかに大きい。

1回目が陽性なら病気である条件付き確率が上がり、その結果として2回目も陽性である条件付き確率も上がる。条件付き独立と独立は別の性質であり、どちらを仮定しているのかを答案で明示する必要がある。

確認テスト

オリジナル

1. 1.2-1 ある部品は工場 A・B・C で作られる。生産の割合と不良率は次の表のとおりである。

   工場	A	B	C
   生産の割合	$50\%$	$30\%$	$20\%$
   不良率	$1\%$	$2\%$	$3\%$

   無作為に選んだ部品が不良である確率と、不良であったときにそれが工場 A の製品である確率を求めよ。
2. 1.2-2 $P(A)>0$、$P(B)>0$ とする。次の2つの不等式が同値であることを示せ。

$$P(A\mid B)>P(A),\qquad P(B\mid A)>P(B).$$ 3. 1.2-3 $\Omega=\{1,2,3,4\}$ の各点が確率 $1/4$ をもつとする。次の3つの事象が、対ごとに独立であるが相互には独立でないことを確かめよ。

$$A=\{1,2\},\qquad B=\{1,3\},\qquad C=\{1,4\}.$$ 4. 1.2-4 3つの扉の1つの後ろに賞品がある（どの扉も確率 $1/3$）。参加者が扉1を選ぶと、賞品の場所を知る司会者は、扉2・3のうち賞品のない扉を1つ開ける（どちらも賞品がなければ確率 $1/2$ ずつで選ぶ）。司会者が扉3を開けたとき、扉2に賞品がある条件付き確率を求めよ。5. 1.2-5 事象 $A$ が自分自身と独立であるための必要十分条件は、確率が 0 または 1 であることを示せ。