確率母関数、積率母関数、特性関数

数理統計　第2章 §2.4　★★★ 母関数を微分して積率を出す・独立和の母関数は積・母関数が一致すれば分布が一致する。再生性の証明の定石

分布を確率関数や密度のまま扱うと、独立な確率変数の和の分布は畳み込みの和・積分になり、計算が重い。母関数は分布を1つの関数に変換し、畳み込みを関数の積に置き換える。期待値の形で定義されるので、§2.3 の計算規則をそのまま使うことができる。

確率母関数

$\lvert s\rvert \le1$ では係数の和が1なので、級数は絶対収束する。確率母関数はべき級数で、係数が確率そのものなので、

$$P(X=k)=\frac{G_X^{(k)}(0)}{k!}\tag{2.15}$$

によって確率関数が戻る。したがって確率母関数が一致すれば分布が一致する。点 $s=1$ の近くで項別微分すると

$$G_X'(1)=\sum_kkP(X=k)=E[X],\qquad G_X''(1)=\sum_kk(k-1)P(X=k)=E[X(X-1)]\tag{2.16}$$

となる（$s\uparrow1$ の左極限として読む。積率が有限なら値は一致する）。分散は

$$V[X]=G''(1)+G'(1)-G'(1)^2$$

となる。$E[X(X-1)\cdots(X-r+1)]$ を $r$ 次の階乗積率と呼ぶ。離散分布では、階乗積率の方が通常の積率より計算しやすいことが多い。

ポアソン分布 $\mathrm{Po}(\lambda)$ では

$$G(s)=\sum_{k=0}^\infty e^{-\lambda}\frac{(\lambda s)^k}{k!}=e^{-\lambda}e^{\lambda s}=e^{\lambda(s-1)}$$

である。$G'(1)=\lambda,\ G''(1)=\lambda^2$ から、$E[X]=V[X]=\lambda$ を得る。

積率母関数

積率母関数の名前は、次の展開に由来する。指数関数の展開の期待値を項別に取ると

$$M_X(t)=E\Bigl[\sum_r \frac{t^rX^r}{r!}\Bigr]=\sum_r E[X^r]\frac{t^r}{r!}$$

となり、$t^r/r!$ の係数が $r$ 次積率になる。0の近傍で有限であるという条件の下で、この項別の操作は正当化でき、

$$M_X^{(r)}(0)=E[X^r]\qquad(r=1,2,\dots)\tag{2.18}$$

が成り立つ。特にすべての次数の積率が存在する。キュムラント母関数については、$M(0)=1$ を使って

$$K'(0)=\frac{M'(0)}{M(0)}=E[X],\qquad K''(0)=\frac{M''(0)M(0)-M'(0)^2}{M(0)^2}=E[X^2]-E[X]^2=V[X]$$

となり、平均と分散が1回・2回の微分で直接出る。微分係数 $K^{(r)}(0)$ を $r$ 次のキュムラントと呼ぶ。

(1) は $e^{t(aX+b)}=e^{bt}e^{(at)X}$ の期待値を取ればよい。(2) は次のように示す。2つが独立なら、関数 $e^{tX}$ と $e^{tY}$ も独立である。命題 2.9 (3) から次が従う。

$$E[e^{tX}e^{tY}]=E[e^{tX}]E[e^{tY}]$$

(3) の証明には複素解析（ラプラス変換の一意性）が要るので、本書では結果として使う。1級の答案でも、次のように書けば十分である。

積率母関数が $\mathrm{N}(\mu,\sigma^2)$ のものと一致するので、一意性から $X\sim\mathrm{N}(\mu,\sigma^2)$。

(2) と (3) を組み合わせると、和の分布を同定する定石ができる。独立な $X_1,\dots,X_n$ の積率母関数を掛ける。結果が既知の分布の積率母関数の形になっていれば、一意性から和はその分布に従う。和をとっても同じ族に留まる性質を再生性と呼ぶ。

正規分布の積率母関数を導いておく。$Z\sim\mathrm{N}(0,1)$ について、指数の部分を平方完成すると

$$M_Z(t)=\int_{-\infty}^\infty e^{tz}\frac{1}{\sqrt{2\pi}}e^{-z^2/2}\,\mathrm{d} z =e^{t^2/2}\int_{-\infty}^\infty\frac{1}{\sqrt{2\pi}}e^{-(z-t)^2/2}\,\mathrm{d} z=e^{t^2/2}$$

である（最後の積分は $\mathrm{N}(t,1)$ の密度の積分で1）。$X=\mu+\sigma Z\sim\mathrm{N}(\mu,\sigma^2)$ の積率母関数は、定理 2.16 (1) から

$$M_X(t)=\exp\Bigl(\mu t+\frac{\sigma^2t^2}2\Bigr)\qquad(t\in\mathbb{R})\tag{2.19}$$

となる。キュムラント母関数は $K_X(t)=\mu t+\sigma^2t^2/2$ という2次式になる。3次以上のキュムラントがすべて0であることが、正規分布の特徴である。

独立な $X_i\sim\mathrm{N}(\mu_i,\sigma_i^2)$ と定数 $a_i$ を考える。1次結合 $\sum a_iX_i$ の積率母関数は

$$\textstyle\exp\{(\sum a_i\mu_i)t+(\sum a_i^2\sigma_i^2)t^2/2\}$$

である。したがって次が成り立つ。

$$\textstyle\sum a_iX_i\sim\mathrm{N}(\sum a_i\mu_i,\ \sum a_i^2\sigma_i^2)$$

特性関数

積率母関数は存在しないことがあるので、どの分布にも定義できる変換として、指数を純虚数にしたものを使う。

$\lvert e^{\mathrm{i} tX}\rvert =1$ なので期待値は常に存在し、$\lvert \varphi_X(t)\rvert \le1,\ \varphi_X(0)=1$ である。積率母関数と同じく、次の2つの性質を持つ。

• $\varphi_{aX+b}(t)=e^{\mathrm{i} bt}\varphi_X(at)$。
• 独立和の特性関数は積になる。

さらに次の2つが成り立つ（証明は確率論の教科書に譲る）。

積率母関数が存在する分布では $\varphi_X(t)=M_X(\mathrm{i} t)$ が成り立つ。例えば $\mathrm{N}(\mu,\sigma^2)$ の特性関数は $\exp(\mathrm{i}\mu t-\sigma^2t^2/2)$ である。積率母関数が存在しない例として、コーシー分布の特性関数は $\varphi(t)=e^{-\lvert t\rvert }$ で、原点で微分可能でない。

これは期待値が存在しないこと（確認テスト 2.3-1）と対応している。特性関数は第5章で中心極限定理を証明するときの道具になる（特性関数の各点収束が分布の収束を意味する、という連続性定理を使う）。

無限分解可能性

再生性を逆向きに使う概念も定義しておく。

ポアソン分布 $\mathrm{Po}(\lambda)$ は、$\mathrm{Po}(\lambda/n)$ に従う独立な確率変数の和と同じ分布である。実際、積率母関数は

$$e^{\lambda(e^t-1)}=\{e^{(\lambda/n)(e^t-1)}\}^n$$

で、右辺の括弧の中は $\mathrm{Po}(\lambda/n)$ の積率母関数だからである。正規分布とガンマ分布（形の母数を $n$ で割る）も無限分解可能である（確認テスト 2.4-5）。

一方、有界な台を持つ非退化な分布（二項分布や一様分布など）は無限分解可能でない。答案で「無限分解可能であることを示せ」と問われたら、母関数を $n$ 乗根の形に書き、根の側が同じ族の母関数になっていることを示せばよい。

確認テスト

オリジナル

1. 2.4-1 (a) 区間 $(0,1)$ 上の一様分布の積率母関数を求めよ。(b) 区間 $(-1,1)$ 上の一様分布の特性関数が、原点以外で $\sin t/t$ であることを示せ。
2. 2.4-2 二項分布 $\mathrm{Bin}(n,p)$ の確率母関数を求め、式 (2.16) から平均と分散を導け。
3. 2.4-3 $X\sim\mathrm{Ex}(\lambda)$ の積率母関数を求め、$E[X^k]=k!/\lambda^k$ を示せ。さらに歪度が2であることを示せ。
4. 2.4-4 $X\sim\mathrm{N}(\mu,\sigma^2)$、$Y=e^X$ とする。(a) $E[Y]$ と $V[Y]$ を求めよ。$\mu=0,\sigma=1$ のときの値も答えよ。(b) $t>0$ で $E[e^{tY}]=\infty$ を示せ。
5. 2.4-5 正規分布 $\mathrm{N}(\mu,\sigma^2)$ とガンマ分布 $\mathrm{Ga}(\alpha,\beta)$ が無限分解可能であることを、積率母関数を使って示せ。