確率と期待値

統計学の復習　第3章 §3.3　★★ 等確率の確率から余事象・加法定理を導き、独立を積で定義する。期待値の線形性まで

確率の定義

この定義から、確率の次の3つの性質がすぐに出る。

1. (P1) $0\le P(A)\le1$。特に $P(\emptyset)=0$。
2. (P2) $P(\Omega)=1$。
3. (P3) $A$ と $B$ が排反なら $P(A\cup B)=P(A)+P(B)$。

(P1) と (P2) は $0\le \#A\le \#\Omega$ から、(P3) は和の法則 $\#(A\cup B)=\#A+\#B$ から従う。

等確率でない試行（表の出る確率が 0.6 の硬貨など）や、根元事象が無限にある試行では (3.6) を使うことができない。そこでは逆に、(P1)〜(P3) を確率がみたすべき規則として先に置き、それをみたす数の割り当てを確率と呼ぶ。この章でこのあと導く性質は、すべて (P1)〜(P3) だけから導かれるので、等確率でない場合にもそのまま使える。規則の正確な形（可算個の和への拡張を含む Kolmogorov の公理）は数理統計の解説 第1章 §1.1 で扱う。また、同じ試行を何回も繰り返したときに事象の起こった割合が確率に近づくことは、第8章の大数の法則で示す。

確率の計算：余事象

証明

$A$ と $A^c$ は排反で、$A\cup A^c=\Omega$ である。(P3) と (P2) から $P(A)+P(A^c)=P(\Omega)=1$。

「少なくとも1つ起こる」の確率は、そのままでは場合分けが多くなる。de Morgan の法則から、その余事象は「どれも起こらない」であり、こちらは1通りの条件で書ける。そこで $P(\text{少なくとも1つ})=1-P(\text{どれも起こらない})$ として計算する。この形は、二項分布やPoisson 分布で「1件以上」の確率を求めるときにも同じ形で使う（第5章）。

確率と独立

独立は「一方が起こったかどうかを知っても、他方の起こりやすさが変わらない」という性質を式にしたものである。この読み方は §3.4 で条件付き確率を使って正確に述べる。ここでは、定義が確率の値を使っていることに注意する。排反は $\Omega$ の部分集合の関係だけで決まったが、独立かどうかは確率の割り当て方で決まる。同じ2つの部分集合でも、確率の割り当てを変えれば独立になったりならなかったりする。

証明

排反なら $A\cap B=\emptyset$ なので $P(A\cap B)=0$ である。一方、仮定から $P(A)P(B)>0$ である。よって (3.7) は成り立たない。

排反な2つの事象では、一方が起こったと分かれば他方は確実に起こらない。一方の情報が他方の起こりやすさを最も大きく変えている状態であり、独立とは正反対の関係になる。「排反」と「独立」を混同しやすいのは、どちらも「無関係」という日常語で言い換えられてしまうからで、答案では必ず定義の式（$A\cap B=\emptyset$ か、$P(A\cap B)=P(A)P(B)$ か）に戻って判定する。

独立はもう1つ、別々の試行を組み合わせるときにも使う。

さいころを2回投げる、硬貨を何回も投げる、のように、互いの結果が影響し合わない仕組みで行う試行を独立な試行とみなす。等確率の場合には、2つのさいころの目の組 36 通りを等確率とおくことが、1回目と2回目を独立な試行とみなすことと同じ内容になる。

証明

$n$ 回のうち $A$ が起こる回を指定した1つの結果（たとえば最初の $k$ 回だけ起こる）の確率は、試行が独立なので各回の確率の積$p^k(1-p)^{n-k}$ になる。$A$ が起こる $k$ 回をどの回にするかは $\binom nk$ 通りあり、これらの結果は互いに排反で、どれも同じ確率を持つ。(P3) を繰り返し使って足すと (3.8) になる。

(3.8) は第5章で二項分布 $\mathrm{Bin}(n,p)$ の確率関数として改めて登場する。二項定理（定理3.6 の 4）で$a=p$、$b=1-p$ とおくと、(3.8) を $k=0,\dots,n$ について足した値が $(p+1-p)^n=1$ になることも確かめられる。

和事象の確率

証明

定理3.10 の証明で、個数 $\#(\cdot)$ を確率 $P(\cdot)$ に置き換え、和の法則の代わりに (P3) を使う。たとえば $A\cup B$ は互いに排反な3つの部分 $A\cap B^c$、$A\cap B$、$A^c\cap B$ の和なので、(P3) を2回使うと$P(A\cup B)=P(A\cap B^c)+P(A\cap B)+P(A^c\cap B)$ である。ここに $P(A)=P(A\cap B^c)+P(A\cap B)$ と $P(B)=P(A^c\cap B)+P(A\cap B)$ を使えば(3.9) になる。(3.10) も定理3.10 と同じ手順で (3.9) から導く。

この証明は個数の数え上げを使っていないので、等確率でない場合にも成り立つ。$A,B$ が排反なら $P(A\cap B)=0$ で、(3.9) は (P3) に戻る。$A,B$ が独立なら $P(A\cap B)=P(A)P(B)$ を代入して $P(A\cup B)=P(A)+P(B)-P(A)P(B)$ になる。和事象の確率を求める問題は、「排反なら足す」「独立なら積を引く」「どちらでもなければ $P(A\cap B)$ を別に求める」の3通りに分かれる。

期待値

試行の結果に応じて値が決まる数量（くじの賞金、さいころの目、出た目の種類の数など）を考える。こうした数量は第4章で確率変数として定式化する。ここでは $\Omega$ が有限集合の場合に限って、その平均的な値を定義する。

同じ期待値は、根元事象ごとの和として書き直すことができる。根元事象 $\omega$ での $X$ の値を $X(\omega)$ と書くと

$$E[X]=\sum_{\omega\in\Omega}X(\omega)\,P(\{\omega\}).\tag{3.12}$$

(3.12) の和を、$X(\omega)$ の値が等しい $\omega$ ごとにまとめると、$X(\omega)=x_k$ となる $\omega$ の確率の和は $p_k$ なので(3.11) に戻る。2つの書き方は同じ量である。

証明

(3.12) の形で書くと

$$E[aX+bY]=\sum_\omega\{aX(\omega)+bY(\omega)\}P(\{\omega\})=a\sum_\omega X(\omega)P(\{\omega\})+b\sum_\omega Y(\omega)P(\{\omega\})=aE[X]+bE[Y].$$

途中で使ったのは有限和の分配と並べ替えだけで、$X$ と $Y$ の関係についての仮定は使っていない。

線形性が特に役立つのは、数えたい個数を「事象が起これば1、起こらなければ0」という数量の和に分けるときである。事象 $A$ に対して、$A$ が起これば1、起こらなければ0をとる数量を $\mathbf 1_A$ と書き、$A$ の指示関数と呼ぶ。(3.11) から$E[\mathbf 1_A]=1\cdot P(A)+0\cdot P(A^c)=P(A)$ である。数えたい個数が $\mathbf 1_{A_1}+\cdots+\mathbf 1_{A_n}$ と書ければ、その期待値は$P(A_1)+\cdots+P(A_n)$ になる。$A_i$ どうしが独立でなくてもこの計算は正しい。

確認テスト

オリジナル

1. 3.3-1 $P(A)=0.3$、$P(B)=0.5$ とする。(a) $A,B$ が排反のとき $P(A\cup B)$ を求めよ。(b) $A,B$ が独立のとき $P(A\cup B)$ を求めよ。(c) この $A,B$ が排反かつ独立であることはありうるか。
2. 3.3-2 2個のさいころを投げる。目の和が 7 になる確率と、目の和が 10 以上になる確率を求めよ。
3. 3.3-3 1回の射撃で的に当たる確率が 0.3 の人が、独立に5回射撃する。少なくとも2回当たる確率を小数第4位まで求めよ。
4. 3.3-4 $A,B$ が独立なら、$A^c$ と $B^c$ も独立であることを示せ。
5. 3.3-5 1000本のくじがあり、1等（10000円）が1本、2等（1000円）が10本、3等（100円）が100本、残りははずれ（0円）である。(a) 1本引いたときの賞金の期待値を求めよ。(b) 同時に2本引いたとき（引いたくじは戻さない）の賞金の合計の期待値を求めよ。