確率母関数

確率論入門　第8章 §8.1　★★★ 非負整数値の分布を、べき級数の係数として持つ関数。独立和は積に、ランダム和は合成になる

第7章では、独立な確率変数の和の分布を畳み込みで書いた。畳み込みは2つの和なら手で計算できるが、和の項数が増えると計算が急に重くなり、項数が無限大に向かう極限（第12章・第13章）を直接調べる手段にはならない。この章では、分布 $P_X$ に1つの関数を対応させる3つの変換を導入する。

• 非負整数値の確率変数に使う確率母関数 $G_X(s)=E[s^X]$。
• 0 の近くで有限になる場合に使う積率母関数 $M_X(t)=E[\mathrm{e}^{tX}]$。
• すべての確率変数に使える特性関数 $\varphi_X(t)=E[\mathrm{e}^{\mathrm{i} tX}]$。

3つの変換はどれも、指数関数の形をした関数の期待値になっている（$s^x=\mathrm{e}^{x\log s}$）。この形から2つの性質が出る。

1. 独立和は積になる。指数関数は $\mathrm{e}^{t(x+y)}=\mathrm{e}^{tx}\mathrm{e}^{ty}$ を満たす。したがって $X$ と $Y$ が独立なら

$$E[\mathrm{e}^{t(X+Y)}]=E[\mathrm{e}^{tX}]E[\mathrm{e}^{tY}]$$

となり、和の分布を求める畳み込みが変換の積に置き換わる。2. 微分するとモーメントが出る。変換を0のまわりで微分すると、モーメントが得られる。

この2つの性質によって、分布の計算の多くが関数の掛け算と微分に帰着する。

3つの変換の違いは、どの分布に対して有限な値をとるかにある。この章の後半では、積率母関数の対数の Taylor 係数であるキュムラントを導入する。これは独立和で足し算になる量で、分布の形（歪度・尖度）を測る。

この章で使う前の章の結果を、式の形で先に書いておく。第5章 §5.3 の変数変換公式

$$E[g(X)]=\int_{\mathbb{R}} g(x)\,P_X(\mathrm{d} x)= \begin{cases}\displaystyle\sum_{k} g(x_k)\,P(X=x_k) & (X\ \text{が離散で値}\ x_1,x_2,\dots\ \text{をとる}),\\[8pt] \displaystyle\int_{-\infty}^{\infty}g(x)f(x)\,\mathrm{d} x & (X\ \text{が密度}\ f\ \text{をもつ})\end{cases}\tag{8.1}$$

（$g\ge0$ か $E[\left\vert g(X)\right\vert ]<\infty$ のとき）を使う。第5章 §5.2 からは、次の収束定理を使う。

• 単調収束定理：$0\le Y_n\uparrow Y$ なら $E[Y_n]\uparrow E[Y]$。
• 優収束定理：$Y_n\to Y$ が各点で成り立つとする。可積分な $W$ で $\left\vert Y_n\right\vert \le W$ と抑えられるとする。このとき $E[Y_n]\to E[Y]$。
• Fatou の補題（1か所で使う）：$Y_n\ge0$ なら $E[\liminf_n Y_n]\le\liminf_n E[Y_n]$。

第5章 §5.4 からは、次の事実を借りる。$X,Y$ が独立で、$g(X),h(Y)$ が非負または可積分なら

$$E[g(X)h(Y)]=E[g(X)]\,E[h(Y)]\tag{8.2}$$

が成り立つ（$g(X)$ と $h(Y)$ が独立であることは、第4章 §4.2 のまとめ方の補題による）。第7章からは、次の2つも参照する。

$$\begin{aligned}P(X+Y=n)&=\sum_{k=0}^{n}P(X=k)P(Y=n-k) &&\text{（§7.3 の離散の畳み込み）}\\ E[S_N]&=E[N]E[X_1] &&\text{（§7.4 の Wald の等式）}\end{aligned}$$

分布の名前と密度は第6章のものを使う。

この章の結果の使い道も先に書いておく。

• 特性関数が分布をただ1つに定めること（一意性定理）と、特性関数から分布を復元する反転公式は第9章で示す。
• 積率母関数は第10章 §10.3 で Chernoff 限界 $P(X\ge a)\le\mathrm{e}^{-ta}M_X(t)$ を作る材料になる。
• §8.3 の「特性関数の0のまわりの Taylor 展開」は、第13章で中心極限定理を証明するときの出発点になる。
• 確率母関数は第15章 §15.1 のランダムウォークの再帰の判定でも使う。第7章 §7.4 では Poisson の間引きを示すのに先回りして使い、それが第14章 §14.3 の Poisson 過程の間引きの土台になる。

定義と、分布を決めること

この節では、値が $0,1,2,\dots$ のどれかである確率変数（非負整数値の確率変数）だけを扱う。$p_k=P(X=k)$ と書く。分布は数列 $(p_0,p_1,p_2,\dots)$ で決まるので、この数列を係数とするべき級数を考えるのが自然である。

確率母関数の定義と「独立和は積」「ランダム和は合成」の2つの性質は、第7章 §7.4 で複合分布を扱うために先に使った。この節では、それを階乗モーメント・分枝過程まで含めて体系的に整える。

右辺の級数は $\left\vert s\right\vert \le1$ で絶対収束する。実際、$\sum_k\left\vert p_ks^k\right\vert \le\sum_kp_k=1$ である。

2つ目の等号は、変数変換公式 (8.1) の離散の場合である。$g(x)=s^x$ は $\left\vert s\right\vert \le1$ で有界だから可積分である。定義からすぐに $G_X(0)=p_0$、$G_X(1)=1$ が分かる。

確率母関数は、べき級数としての性質から分布を完全に決める。

証明

べき級数 $\sum_kp_ks^k$ の収束半径は1以上である。収束半径の内側では、べき級数は項別に何回でも微分でき、

$$G_X^{(k)}(s)=\sum_{j=k}^{\infty}j(j-1)\cdots(j-k+1)\,p_j\,s^{j-k}$$

となる。$s=0$ を代入すると $j=k$ の項だけが残る。したがって $G_X^{(k)}(0)=k!\,p_k$ を得る。

後半を示す。$h=G_X-G_Y$ も収束半径1以上のべき級数で、$[0,1)$ で0である。すると $(0,1)$ の各点で、$h$ のすべての導関数が0になる。

導関数 $h^{(k)}$ は $(-1,1)$ で連続である。したがって $s\downarrow0$ として $h^{(k)}(0)=0$ を得る。前半の式から、すべての $k$ で

$$P(X=k)-P(Y=k)=\frac{h^{(k)}(0)}{k!}=0$$

が成り立つ。

階乗モーメント

$G_X$ を $s=1$ で微分するとモーメントが得られる。そのためには、通常のモーメント $E[X^k]$ よりも、下降階乗

$$(x)_k\coloneqq x(x-1)\cdots(x-k+1)\qquad(k\ge1),\qquad (x)_0\coloneqq1$$

の期待値 $E[(X)_k]$ が扱いやすい。これを $k$ 次の階乗モーメントと呼ぶ。$s^x$ を微分しても $x^k$ は出てこない。一方 $(x)_k$ は

$$\frac{d ^k}{d s^k}s^x=(x)_k\,s^{x-k}$$

として直接現れるからである。

証明

命題 8.2 の証明の式から、$0\le s<1$ で

$$G_X^{(k)}(s)=\sum_{j\ge k}(j)_k\,p_j\,s^{j-k}$$

である。各項は非負で、$s$ について非減少だから、$G_X^{(k)}$ も非減少である。$s_m\uparrow1$ となる列をとると、各項は $(j)_kp_j$ に単調に増加する。級数を数え上げ測度による積分とみれば、単調収束定理から

$$\lim_{m\to\infty}G_X^{(k)}(s_m)=\sum_{j\ge k}(j)_kp_j=\sum_{j\ge0}(j)_kp_j=E[(X)_k]$$

となる。2つ目の等号は、$j<k$ では下降階乗の因子に0が入って $(j)_k=0$ になることによる。最後の等号は (8.1) である。

分散の式は次のように得られる。

$$\begin{aligned}E[X^2]&=E[(X)_2]+E[(X)_1]=G_X''(1-)+G_X'(1-) &&\text{（}{X^2=X(X-1)+X}\text{ を使った）}\\ V[X]&=E[X^2]-E[X]^2=G_X''(1-)+G_X'(1-)-G_X'(1-)^2\end{aligned}$$

代表的な分布の確率母関数を、定義 (8.3) の級数を和の公式で計算して求めておく。

• Bernoulli 分布は、確率 $p$ で1、残りの確率で0をとる。確率母関数は $1-p+ps$ である。
• Poisson 分布 $\mathrm{Po}(\lambda)$ は、指数関数の級数から

$$G(s)=\sum_{k=0}^{\infty}\mathrm{e}^{-\lambda}\frac{\lambda^k}{k!}s^k=\mathrm{e}^{-\lambda}\mathrm{e}^{\lambda s}=\mathrm{e}^{\lambda(s-1)}$$

となる。これを微分すると $G'(1)=\lambda$、$G''(1)=\lambda^2$ である。(8.5) より

$$E[X]=\lambda,\qquad V[X]=\lambda^2+\lambda-\lambda^2=\lambda.$$

• 幾何分布は、値 $k=1,2,\dots$ を確率 $(1-p)^{k-1}p$ でとる分布である。等比級数の和から、次のようになる（確認テスト 8.1-2）。

$$G(s)=\frac{ps}{1-(1-p)s}$$

• 二項分布 $\mathrm{Bin}(n,p)$ の確率母関数 $(1-p+ps)^n$ は、次の小節の積の公式から得られる。

独立和は積になる

証明

$s^{X+Y}=s^X\cdot s^Y$ であり、2つの因子はそれぞれの確率変数の有界な関数である。(8.2) から$E[s^{X+Y}]=E[s^X]E[s^Y]$ を得る。$s<0$ のときも、有界な関数なので可積分である。

$q_k=P(Y=k)$ と書く。(8.6) の両辺の $s^n$ の係数を比べると、次のようになる。

$$P(X+Y=n)=\sum_{k=0}^np_kq_{n-k}$$

これは第7章 §7.3 の畳み込みの式そのものである。つまり、確率母関数の世界では、畳み込みは関数の掛け算として現れる。命題 8.2 と合わせると、分布の再生性がただちに示せる。

ランダム和は合成になる

項数そのものが確率変数である和をランダム和と呼ぶ（第7章 §7.4 の複合分布）。保険の請求の総額（請求の件数も1件の額も確率的）や、次の小節の分枝過程がその例である。

ランダム和の確率母関数が関数の合成で書けることは、第7章 §7.4 で示した。ここでは定理として再掲し、平均と分散を階乗モーメントから導き直す。

証明は第7章 §7.4 で与えた（$N$ の値で場合分けし、独立和の確率母関数が積になることを $n$ 個の和に使う）。

証明

$0\le s<1$ で (8.7) を連鎖律で微分すると

$$G_S'(s)=G_N'\bigl(G_X(s)\bigr)G_X'(s),\qquad G_S''(s)=G_N''\bigl(G_X(s)\bigr)G_X'(s)^2+G_N'\bigl(G_X(s)\bigr)G_X''(s)$$

となる。$X_1\equiv0$ の場合は $S\equiv0$ で主張は自明なので、除いてよい。このとき $s<1$ で $G_X(s)<1$ である。

$s\uparrow1$ のとき $G_X(s)\uparrow1$ である。また $G_N',G_N''$ は単調非減少である。したがって

$$G_N'(G_X(s))\to G_N'(1-),\qquad G_N''(G_X(s))\to G_N''(1-).$$

定理 8.3 から、次の2式を得る。

$$E[S]=E[N]E[X_1],\qquad E[(S)_2]=E[(N)_2]\,E[X_1]^2+E[N]\,E[(X_1)_2]$$

これを $V[S]=E[(S)_2]+E[S]-E[S]^2$ に代入すると

$$\begin{aligned}V[S]&=\bigl(E[N^2]-E[N]\bigr)E[X_1]^2+E[N]\bigl(E[X_1^2]-E[X_1]\bigr)+E[N]E[X_1]-E[N]^2E[X_1]^2\\ &=\bigl(E[N^2]-E[N]^2\bigr)E[X_1]^2+E[N]\bigl(E[X_1^2]-E[X_1]^2\bigr)\end{aligned}$$

となり、(8.8) の第2式を得る。

2つの式は第7章 §7.4 で場合分けから求めたものと同じで、平均の式は Wald の等式の特別な場合でもある。分散の式は2つの揺らぎの和になっている。

• 第1項は、項数を固定したときの各項の揺らぎである。
• 第2項は、項数そのものの揺らぎに、1項あたりの平均の2乗を掛けたものである。

分枝過程と絶滅確率

ランダム和の公式の応用として、Galton–Watson 過程（分枝過程）を考える。1個体から始め、各個体はそれぞれ独立に、共通の分布 $p_k=P(\xi=k)$ に従う数の子を残して消える。第 $n$ 世代の個体数を $Z_n$ とする。$Z_0=1$ であり、

$$Z_{n+1}=\xi_{n,1}+\xi_{n,2}+\cdots+\xi_{n,Z_n}$$

である。ここで $\xi_{n,i}$ は、その世代の $i$ 番目の個体の子の数である。これらはすべて独立に $\xi$ と同じ分布に従う。

$\xi$ の確率母関数を $G$ と書く。平均を $m=E[\xi]$ と書く。$m$ はこの小節だけの記号である。

$Z_n$ はそれより前の世代の子の数だけで決まるので、同じ世代の子の数 $\xi_{n,\cdot}$ とは独立である。定理 8.5 から $G_{Z_{n+1}}=G_{Z_n}\circ G$ となる。$G_{Z_0}(s)=s$ から始めて帰納的に

$$G_{Z_n}=\underbrace{G\circ G\circ\cdots\circ G}_{n\ \text{回}}\tag{8.9}$$

を得る。系 8.6 の平均の式を繰り返せば $E[Z_n]=m^n$ である。

いつか個体がいなくなる事象 $\{\text{ある}\ n\ \text{で}\ Z_n=0\}$ の確率 $q$ を絶滅確率と呼ぶ。

証明

ある世代で0になれば、その後もずっと0である。したがって事象 $A_n=\{Z_n=0\}$ は $n$ について増加し、その和集合が絶滅の事象である。確率の連続性（第1章 §1.4）から $q=\lim_nP(A_n)$ である。$q_n=P(Z_n=0)=G_{Z_n}(0)$ と置くと、(8.9) から

$$q_{n+1}=G(q_n),\qquad q_0=0.$$

$G$ は $[0,1]$ で連続である。この漸化式で $n\to\infty$ として、$q=G(q)$ を得る。つまり $q$ は不動点である。

$r\in[0,1]$ を $G(r)=r$ の任意の解とする。$G$ は $[0,1]$ で非減少である（係数が非負）。したがって $q_n\le r$ なら

$$q_{n+1}=G(q_n)\le G(r)=r.$$

$q_0=0\le r$ から帰納的に、すべての番号で $q_n\le r$ となる。したがって $q\le r$ で、$q$ は最小の解である。

後半を示す。$p_1<1$ を仮定し、$h(s)=G(s)-s$ と置く。$h(1)=0$ である。

• $m\le1$ の場合。さらに2つに分ける。

  • $p_j>0$ となる $j\ge2$ が無いとき。$G(s)=p_0+p_1s$ で、$p_0=1-p_1>0$ である。したがって $s<1$ で $h(s)=p_0(1-s)>0$ である。
  • $p_j>0$ となる $j\ge2$ があるとき。$(0,1)$ で $G''>0$ が成り立つ。したがって $G'$ は狭義増加である。平均値の定理から、$1-G(s)=G'(c)(1-s)$ となる $c\in(s,1)$ がある。$G'(c)<G'(1-)=m\le1$ だから $1-G(s)<1-s$ である。つまり $h(s)>0$ である。

どちらの場合も $[0,1)$ に解は無く、$q=1$ となる。

• $m>1$ の場合。$s\uparrow1$ で $h'(s)=G'(s)-1\to m-1>0$ である。したがって、1より少し小さい $s_0$ で $h(s_0)<h(1)=0$ となる。これは平均値の定理を区間 $[s_0,1]$ に使えば分かる。一方 $h(0)=p_0\ge0$ である。中間値の定理により、$[0,s_0)$ に解がある。よって $q<1$ となる。

確認テスト

オリジナル

1. 8.1-1 非負整数値の確率変数 $X$ について、次を示せ。

$$P(X\ \text{が偶数})=\frac12\bigl(1+G_X(-1)\bigr)$$

また $X\sim\mathrm{Po}(\lambda)$ のとき、この確率を求めよ。2. 8.1-2 $p\in(0,1)$ とする。成功確率 $p$ の幾何分布の確率母関数を求めよ。これは値 $k=1,2,\dots$ を確率 $(1-p)^{k-1}p$ でとる分布である。それを用いて平均と分散を求めよ。3. 8.1-3 $N\sim\mathrm{Po}(\lambda)$ とする。成功確率 $p$ の Bernoulli 分布に従う独立な $X_1,X_2,\dots$ を、回数と独立に用意する。$S=X_1+\cdots+X_N$ の分布を求めよ。Poisson 分布に従う数の事象を、確率 $p$ で独立に選んで残す操作を間引きと呼ぶ。4. 8.1-4 非負整数値の確率変数 $X$ について、$\left\vert s\right\vert <1$ で次を示せ。

$$\sum_{k=0}^{\infty}P(X>k)\,s^k=\frac{1-G_X(s)}{1-s}$$

これから $E[X]=\sum_{k=0}^{\infty}P(X>k)$ を導け。