確率変数

数理統計　第2章 §2.1　★ 確率変数は $\Omega$ 上の関数で、分布は分布関数 $F$ で決まる。$F$ の3性質と、跳びが点の確率になることを使えるようにする

第1章では、標本空間 $\Omega$ の部分集合（事象）に確率を割り当てる仕組みを扱った。統計学で実際に計算するのは事象の確率そのものより、観測値という数の分布である。観測値を $\Omega$ 上の関数とみなしたものが確率変数で、その分布を表す道具が分布関数・確率関数・確率密度関数である。本章はこれらを定義し、分布から1つの数を取り出す期待値と、分布をまるごと1つの関数に包む母関数を導入し、最後に確率変数を関数で変換したときの分布の求め方を扱う。

1級の統計数理では、本章の内容が単独の大問になることは少ない。代わりに、ほぼすべての大問の最初の小問が本章の操作になる。その操作とは次の5つである。

• 密度に含まれる定数を規格化条件から決める。
• 分布関数から確率を読む。
• 期待値と分散を積分で求める。
• 積率母関数を掛け合わせて和の分布を同定する。
• 単調変換で密度を書き換える。

2025年 統計数理 問5 の題材（ポアソン分布の再生性と積率母関数による無限分解可能性、対数正規分布の平均と分散）は、本章の §2.4 と §2.5 の道具だけで最後まで解くことができる。最初の小問で手が止まると後ろの小問に進めないので、本章の操作は詰まらずに書けるところまで練習しておく必要がある。

記号は次の約束に従う。

• 期待値は $E[X]$、分散は $V[X]$ と書く。
• 指数分布は $\mathrm{Ex}(\lambda)$ と書き、密度は $\lambda e^{-\lambda x}$ である。
• ガンマ分布は $\mathrm{Ga}(\alpha,\beta)$ と書き、$\beta$ は尺度である。

代表的な分布の性質の一覧は第3章で扱うので、本章では各節の操作を説明するのに必要な分布だけを、その場で密度を書いて使う。

確率変数と分布

確率空間を $(\Omega,\mathcal F,P)$ とする。$\Omega$ は標本空間で、$P$ は確率である。$\mathcal F$ は確率を割り当てる事象の集まりで、$\sigma$ 加法族と呼ぶ。

条件 $\{X\le x\}\in\mathcal F$ は、式 (2.1) の右辺に確率を割り当てられることを保証するためのものである。この条件があれば、次の集合もすべて事象になる。

$$\begin{gathered}\{X>x\}\ (\text{補集合}),\qquad \{a<X\le b\}=\{X\le b\}\setminus\{X\le a\},\\ \{X<x\}=\bigcup_{n}\{X\le x-1/n\},\qquad \{X=x\}=\{X\le x\}\setminus\{X<x\}\end{gathered}$$

したがって、区間に入る確率はどれも計算の対象になる。1級の答案で可測性を論じる場面はまず無く、「確率変数とは確率を計算できる観測値のことである」と読んでおけば十分である。

分布関数が重要なのは、それが分布をただ1つに決めるからである。半開区間の確率は

$$P(a<X\le b)=F(b)-F(a)$$

なので、すべて $F$ から計算することができる。半開区間の確率が決まれば、その可算個の和と差で書ける集合の確率も決まり、実際に統計で扱う集合はすべてこの形になっている。

2つの確率変数 $X,Y$ の分布関数が一致するとき、2つは同じ分布に従うという。これを $X\overset{d}{=}Y$ と書く。

2つが関数として等しい必要は無い。例えば硬貨を1回投げて、表なら $X=1$、裏なら $X=0$ とする。$Y=1-X$ と置くと、$X\ne Y$ である。それでも両者の分布は同じで、$X\overset{d}{=}Y$ である。

分布関数の性質

証明

(1) $x<y$ ならば $\{X\le x\}\subset\{X\le y\}$ である。確率の単調性から $F(x)\le F(y)$。

(2) 減少列 $h_n\downarrow0$ を取り、事象 $A_n=\{X\le x+h_n\}$ を考える。$A_n$ は減少列で、共通部分は

$$\textstyle\bigcap_nA_n=\{X\le x\}$$

である。確率の連続性（第1章：減少列の確率は共通部分の確率に収束する）から

$$F(x+h_n)=P(A_n)\to P(X\le x)=F(x).$$

分布関数は単調なので、特定の列で極限がこの値になれば、$h\downarrow0$ の極限も同じ値である。

(3) $\{X\le -n\}$ は減少列で、共通部分は空集合なので $F(-n)\to0$。$\{X\le n\}$ は増加列で、和集合は全体なので $F(n)\to1$。単調性から $x\to\pm\infty$ の極限も同じ値になる。

逆向きの主張は、次の小節の定理 2.4 (2) で確かめる。そこでは一様乱数を変換した $F^{-}(U)$ の分布関数がちょうど $F$ になることを示す。

右連続性に対して、左からの極限

$$F(x-)\coloneqq\lim_{h\downarrow0}F(x-h)$$

は $F(x)$ と一致するとは限らない。増加列 $\{X\le x-h_n\}$ の和集合は $\{X<x\}$ である。よって左極限は $F(x-)=P(X<x)$ となり、

$$P(X=x)=P(X\le x)-P(X<x)=F(x)-F(x-)\tag{2.2}$$

となる。つまり $F$ の跳びの高さがその点の確率である。分布関数が点 $x$ で連続なら、$P(X=x)=0$ である。単調関数の不連続点は高々可算個しかないので、確率が正の点も高々可算個である。

式 (2.2) から、区間の端を含むかどうかで確率が変わる。

$$P(a\le X\le b)=F(b)-F(a-),\qquad P(a<X<b)=F(b-)-F(a)$$

跳びのある分布で答案を書くときは、この区別を落とさないようにする。

離散型・連続型・混合型

分布関数の形で、分布を次の3つに分ける。

1. 離散型：$F$ が階段関数で、高々可算個の点 $x_1,x_2,\dots$ の跳びの合計が1になるもの。
2. 連続型（正確には絶対連続型）：非負の関数 $f$ を使って

$$F(x)=\int_{-\infty}^xf(t)\,\mathrm{d} t$$

と書けるもの。3. 混合型：どちらでもなく、跳びと連続的な増加の両方を持つもの。

混合型は統計の応用で自然に現れる。例えば機器の寿命 $T$ を時刻 $c$ までしか観測しない実験を考える。観測値 $X=\min(T,c)$ は点 $c$ に正の確率を持ち、その点より前では連続に分布する（例題 2.1）。この操作を打ち切りと呼ぶ。

分位点関数と確率積分変換

分布関数を逆に読む関数を定義する。$F$ が狭義単調増加で連続なら逆関数 $F^{-1}$ がそのまま使えるが、平らな部分や跳びがあると逆関数が定まらないので、次の形で定義する。

右連続性から、集合 $\{x:F(x)\ge u\}$ は左端を含む半直線 $[F^{-}(u),\infty)$ になる。実際、この集合は単調性から上に閉じた半直線である。その左端を $x_0$ とすると、左端に右から近づく点で $F\ge u$ である。右連続性から $F(x_0)\ge u$ となり、左端も含む。したがって

$$F^{-}(u)\le x\iff u\le F(x)\tag{2.3}$$

が成り立つ。この同値関係が次の定理の証明の核である。

証明

(2) から示す。式 (2.3) から $\{F^{-}(U)\le x\}=\{U\le F(x)\}$ なので、

$$P(F^{-}(U)\le x)=P(U\le F(x))=F(x).$$

(1) $0<u<1$ を固定する。分布関数は連続なので、中間値の定理から $F(x)=u$ となる点がある。そのうち最大のものを $x_u$ とする。最大のものがあるのは、方程式 $F(x)=u$ の解の集合が連続性から閉じていて、$F\to1$ から上に有界だからである。

$F$ の単調性から、事象として $\{F(X)\le u\}=\{X\le x_u\}$ が成り立つ。理由は次の2つである。

• $X\le x_u$ なら $F(X)\le F(x_u)=u$。
• $X>x_u$ なら $F(X)>u$。

よって $P(F(X)\le u)=F(x_u)=u$ で、これは $\mathrm{U}(0,1)$ の分布関数である。

(2) は計算機で任意の分布の乱数を作る逆関数法の根拠で、(1) は第7章の $p$ 値が帰無仮説の下で一様分布に従うことの根拠になる。(1) は $F$ が連続であることを使っている。離散分布では $F(X)$ は有限個の値しか取らないので一様分布には従わない。

確認テスト

オリジナル

1. 2.1-1 次の関数は分布関数か。理由とともに答えよ。(a) $F(x)=\exp(-e^{-x})$（$x\in\mathbb{R}$）。(b) $F(x)=\begin{cases}0&(x<0)\\1-xe^{-x}&(x\ge0)\end{cases}$。
2. 2.1-2 確率変数 $X$ の分布関数が

$$F(x)=\begin{cases}0&(x<0)\\x^2/4&(0\le x<1)\\1/2+(x-1)/4&(1\le x<2)\\1&(x\ge2)\end{cases}$$

で与えられている。次の4つを求めよ。

$$P(X=1),\quad P(X=2),\quad P(X<1),\quad P(1/2<X\le3/2)$$ 3. 2.1-3 $U\sim\mathrm{U}(0,1)$ とする。定理 2.4 (2) を使い、$U$ の関数で次の分布に従う確率変数を作れ。

1. (a) $\mathrm{Ex}(\lambda)$
2. (b) 分布関数 $F(x)=1-x^{-a}$（$x\ge1,\ a>0$）のパレート分布
3. (c) 密度 $1/\{\pi(1+x^2)\}$ のコーシー分布
4. 2.1-4 任意の確率変数と任意の実数 $x$ について $P(X<x)=F(x-)$ が成り立つことを、確率の連続性を使って示せ。