積率母関数とモーメント

確率論入門　第8章 §8.2　★★★ 0 の近くで有限なら、すべてのモーメントを Taylor 係数として持ち、分布を決める。裾の重い分布では有限にならない

定義と定義域

確率母関数は非負整数値の確率変数にしか使えない。$s=\mathrm{e}^t$ と置き換えれば $s^X=\mathrm{e}^{tX}$ となる。この形なら、実数値の確率変数一般に意味を持つ。

$M_X(0)=1$ だから、$D_X$ は少なくとも0を含む。非負整数値の $X$ では $M_X(t)=G_X(\mathrm{e}^t)$ である。これは $t\le0$ では常に有限である。

証明

$0<s<t$ で $t\in D_X$ とする。次の2つの場合に分ける。

• $x\ge0$ なら $\mathrm{e}^{sx}\le\mathrm{e}^{tx}$ である。
• $x<0$ なら $\mathrm{e}^{sx}\le1$ である。

したがって、どの点でも $\mathrm{e}^{sx}\le1+\mathrm{e}^{tx}$ である。期待値をとると $M_X(s)\le1+M_X(t)<\infty$ となり、$s\in D_X$ である。$t<s<0$ の場合も、不等号の向きを入れ替えて同じように示せる。したがって、$D_X$ は0と自分の点のあいだをすべて含み、区間である。

定義域が $\{0\}$ だけになる分布もある。Cauchy 分布（密度 $f(x)=\frac{1}{\pi(1+x^2)}$）を考える。$t>0$ とする。非負の $x$ では $\mathrm{e}^{tx}\ge\frac{(tx)^2}{2}$ だから

$$M_X(t)\ge\int_0^\infty\frac{t^2x^2}{2\pi(1+x^2)}\,\mathrm{d} x=\infty$$

となる。$\frac{x^2}{1+x^2}\to1$ なので被積分関数が0に近づかないことが、発散の理由である。$t<0$ も対称性から同じで、$D_X=\{0\}$ となる。裾が $\left\vert x\right\vert ^{-2}$ の速さでしか減らない分布では、指数関数で重みをつけた期待値は有限にならない。

代表的な分布の積率母関数を計算する。

• 正規分布 $\mathrm N(\mu,\sigma^2)$ では、指数の中を平方完成して

$$tx-\frac{(x-\mu)^2}{2\sigma^2}=-\frac{(x-\mu-\sigma^2t)^2}{2\sigma^2}+\mu t+\frac{\sigma^2t^2}{2}$$

となる。平均 $\mu+\sigma^2t$ の正規密度の積分が1であることを使って

$$M_X(t)=\exp\Bigl(\mu t+\frac{\sigma^2t^2}{2}\Bigr)\qquad(t\in\mathbb{R})\tag{8.11}$$

を得る。

• ガンマ分布 $\mathrm{Ga}(\alpha,\lambda)$ では、$t<\lambda$ のとき

$$M_X(t)=\int_0^\infty\frac{\lambda^\alpha x^{\alpha-1}\mathrm{e}^{-(\lambda-t)x}}{\Gamma(\alpha)}\,\mathrm{d} x=\frac{\lambda^\alpha}{(\lambda-t)^\alpha}\int_0^\infty\frac{(\lambda-t)^\alpha x^{\alpha-1}\mathrm{e}^{-(\lambda-t)x}}{\Gamma(\alpha)}\,\mathrm{d} x=\Bigl(\frac{\lambda}{\lambda-t}\Bigr)^{\alpha}\tag{8.12}$$

である。最後の積分は、レート $\lambda-t$ のガンマ密度の積分で1である。$t\ge\lambda$ では、被積分関数が $x\to\infty$ で0に近づかない。したがって $M_X(t)=\infty$ である。

• 指数分布 $\mathrm{Ex}(\lambda)=\mathrm{Ga}(1,\lambda)$ では、$t<\lambda$ で次のようになる。

$$M_X(t)=\frac{\lambda}{\lambda-t}$$

• 離散分布では、確率母関数に $s=\mathrm{e}^t$ を代入すればよい。

結果を表 8.1 にまとめる。

モーメントを Taylor 係数として持つこと

名前の由来は次の定理にある。積率（モーメント）$E[X^k]$ が、0における Taylor 係数として順に並ぶ。

証明

$0<r<\delta$ を固定する。$\mathrm{e}^{r\left\vert x\right\vert }\le\mathrm{e}^{rx}+\mathrm{e}^{-rx}$ だから

$$E[\mathrm{e}^{r\left\vert X\right\vert }]\le M_X(r)+M_X(-r)<\infty$$

である。

(1) 指数関数の級数の1項を取り出すと、$\frac{r^k\left\vert x\right\vert ^k}{k!}\le\mathrm{e}^{r\left\vert x\right\vert }$ である。したがって

$$E[\left\vert X\right\vert ^k]\le k!\,r^{-k}E[\mathrm{e}^{r\left\vert X\right\vert }]<\infty.$$

(2) $\left\vert t\right\vert \le r$ とする。部分和 $S_n=\sum_{k=0}^n\frac{(tX)^k}{k!}$ は、各点で $\mathrm{e}^{tX}$ に収束する。また

$$\left\vert S_n\right\vert \le\sum_{k=0}^n\frac{\left\vert tX\right\vert ^k}{k!}\le\mathrm{e}^{r\left\vert X\right\vert }$$

を満たす。右辺は可積分だから、優収束定理により

$$M_X(t)=E\Bigl[\lim_{n\to\infty}S_n\Bigr]=\lim_{n\to\infty}E[S_n]=\lim_{n\to\infty}\sum_{k=0}^n\frac{E[X^k]}{k!}t^k$$

となる。絶対収束は、単調収束定理から次が成り立つことによる。

$$\sum_k\frac{\left\vert t\right\vert ^kE[\left\vert X\right\vert ^k]}{k!}=E[\mathrm{e}^{\left\vert tX\right\vert }]<\infty$$

$r<\delta$ は任意だったので、$\left\vert t\right\vert <\delta$ のすべてで (8.13) が成り立つ。

(3) (8.13) は収束半径 $\delta$ 以上のべき級数である。したがって $(-\delta,\delta)$ で項別に何回でも微分できる。$k$ 階導関数の原点での値は $E[X^k]$ である。

(1) の証明の評価 $E[\left\vert X\right\vert ^k]\le k!\,r^{-k}C$ を見る。積率母関数が0の近くで有限な分布では、モーメントが $k!\,r^{-k}$ 程度より速く増えない。この増え方の制限が、次の小節で「モーメントが分布を決める」ための条件として現れる。

独立和と一意性

証明

$\mathrm{e}^{t(X+Y)}=\mathrm{e}^{tX}\mathrm{e}^{tY}$ である。2つの因子はそれぞれの確率変数の非負の関数だから、(8.2) を非負の場合に使えばよい。

たとえば独立な $X_1,\dots,X_n\sim\mathrm{Ex}(\lambda)$ の和の積率母関数は、$\bigl(\lambda/(\lambda-t)\bigr)^n$ である。これは $\mathrm{Ga}(n,\lambda)$ の積率母関数 (8.12) に等しい。ここから「和はこのガンマ分布に従う」と結論するには、積率母関数が分布を決めることが必要になる。

この定理の証明の筋を3段で書く。完全な証明は第9章で示す。

1. 複素数 $z$ に対して $E[\mathrm{e}^{zX}]$ を考える。定理 8.10 と同じ評価によって、これは帯 $\{\left\vert \operatorname{Re} z\right\vert <\delta\}$ の上の正則関数になる（収束するべき級数で表せる）。
2. 2つの確率変数から作った正則関数は、実軸上の区間 $(-\delta,\delta)$ で一致する。複素関数論の一致の定理によって、帯全体で一致する。
3. とくに虚軸上 $z=\mathrm{i} t$ で一致する。これは特性関数 $\varphi_X=\varphi_Y$ を意味する。特性関数が分布を決めることは、第9章 §9.2 の一意性定理で示す。

この定理を認めると、次の2つが従う。どちらも第6章 §6.3 の主張と一致する。

• 独立な $\mathrm{Ex}(\lambda)$ を個数ぶん足した和は、ガンマ分布 $\mathrm{Ga}(n,\lambda)$ に従う。
• 独立な $\mathrm N(\mu_1,\sigma_1^2)$ と $\mathrm N(\mu_2,\sigma_2^2)$ の和の積率母関数は、(8.11) の積

$$\exp\bigl((\mu_1+\mu_2)t+\tfrac12(\sigma_1^2+\sigma_2^2)t^2\bigr)$$

である。したがって和は $\mathrm N(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)$ に従う。

モーメントだけでは分布は決まらない

定理 8.12 は「積率母関数が0の近くで有限」という仮定を必要とする。この仮定を外すと、すべてのモーメントが一致しても分布が異なる例がある。

$Z\sim\mathrm N(0,1)$ として $X=\mathrm{e}^Z$ と置く。$X$ の分布を対数正規分布と呼ぶ。対数が正規分布に従うことが名前の由来である。変数変換（第7章 §7.1）から、$X$ の密度は $x>0$ で

$$f(x)=\frac{1}{x\sqrt{2\pi}}\exp\Bigl(-\frac{(\log x)^2}{2}\Bigr)$$

である。(8.11) で $t=k$ と置くと、次のようにすべてのモーメントが有限である。

$$E[X^k]=E[\mathrm{e}^{kZ}]=\mathrm{e}^{k^2/2}$$

しかし $t>0$ では $M_X(t)=E[\exp(t\mathrm{e}^Z)]=\infty$ である。実際、被積分関数は

$$\exp(t\mathrm{e}^z)\frac{1}{\sqrt{2\pi}}\mathrm{e}^{-z^2/2}$$

で、その指数部分 $t\mathrm{e}^z-z^2/2$ は、$z\to\infty$ で正の無限大に発散する。したがって被積分関数が0に近づかない。

モーメントの増え方 $\mathrm{e}^{k^2/2}$ は、定理 8.10 の証明で得た $k!\,r^{-k}$ の程度よりはるかに速い。

確認テスト

オリジナル

1. 8.2-1 定数 $a\neq0$ と $b$ をとる。$M_{aX+b}(t)=\mathrm{e}^{bt}M_X(at)$ を示せ。また、$D_X=(-1,2)$ のとき $D_{-2X+1}$ を求めよ。
2. 8.2-2 $X\sim\mathrm{Po}(\lambda)$ の積率母関数を3回微分して、次を示せ。

$$E[X^3]=\lambda^3+3\lambda^2+\lambda$$ 3. 8.2-3 $X\sim\mathrm U(0,1)$ の積率母関数を求めよ。原点のまわりの展開から、$E[X^k]=\frac{1}{k+1}$ を導け。4. 8.2-4 密度 $\frac12\mathrm{e}^{-\left\vert x\right\vert }$ の Laplace 分布を考える。$\left\vert t\right\vert <1$ で $M_X(t)=\frac{1}{1-t^2}$ を示せ。また $E[X^2]$ と $E[X^4]$ を求めよ。5. 8.2-5 $E[\left\vert X\right\vert ]<\infty$ とする。不等式 $\mathrm{e}^y\ge1+y$ を用いて、すべての実数で $M_X(t)\ge\mathrm{e}^{tE[X]}$ を示せ。また $M_X$ が $D_X$ の上で凸関数であることを示せ。