キュムラント

確率論入門　第8章 §8.4　★★ 積率母関数の対数の Taylor 係数。独立和で足し算になり、3次と4次で分布の形（歪度・尖度）を測る

定義

独立和では積率母関数が積になる（命題 8.11）。積は対数をとると和になる。したがって、積率母関数の対数の Taylor 係数は、独立和で足し算になる量になる。これがキュムラントである。

$M_X>0$ である。定理 8.10 から $M_X$ は無限回微分可能だから、$K_X$ も無限回微分可能である。さらに $M_X(t)-1$ は、0の近くで絶対値が1より小さい収束べき級数である。これを $\log(1+u)=u-\frac{u^2}{2}+\cdots$ に代入した級数も収束する。したがって原点の近くで

$$K_X(t)=\sum_{n=1}^{\infty}\frac{\kappa_n}{n!}\,t^n$$

と展開できる。定数項は $K_X(0)=\log1=0$ である。

モーメントとの関係

キュムラントはモーメントの多項式で書ける。平均を $E[X]$、平均のまわりの $k$ 次モーメントを

$$\mu_k\coloneqq E\bigl[(X-E[X])^k\bigr]$$

と書く。$\mu_2=V[X]$ である。正規分布の平均の $\mu$ とは、添字の有無で区別する。

証明

まず平行移動の効果を調べる。定数 $c$ について $M_{X+c}(t)=\mathrm{e}^{ct}M_X(t)$ だから、次が成り立つ。

$$K_{X+c}(t)=ct+K_X(t)$$

したがって $\kappa_1$ だけが $c$ ずれ、2次以上のキュムラントは変わらない。

$\kappa_1=K_X'(0)=M_X'(0)/M_X(0)=E[X]$ である。2次以上については、$X$ を $X-E[X]$ に置き換えてよい。そこで $E[X]=0$ とする。このとき $E[X^k]=\mu_k$ である。

定理 8.10 から、次のように書ける。

$$M_X(t)=1+u(t),\qquad u(t)=\frac{\mu_2}{2}t^2+\frac{\mu_3}{6}t^3+\frac{\mu_4}{24}t^4+\mathcal{O}(t^5)$$

$u=\mathcal{O}(t^2)$ なので、次が成り立つ。

$$u^2=\frac{\mu_2^2}{4}t^4+\mathcal{O}(t^5),\qquad u^3=\mathcal{O}(t^6)$$ $\log(1+u)=u-\frac{u^2}{2}+\mathcal{O}(u^3)$ に代入すると

$$K_X(t)=\frac{\mu_2}{2}t^2+\frac{\mu_3}{6}t^3+\Bigl(\frac{\mu_4}{24}-\frac{\mu_2^2}{8}\Bigr)t^4+\mathcal{O}(t^5)$$

となる。$\frac{\kappa_n}{n!}t^n$ と係数を比べると、次を得る。

$$\kappa_2=\mu_2,\qquad\kappa_3=\mu_3,\qquad\kappa_4=24\Bigl(\frac{\mu_4}{24}-\frac{\mu_2^2}{8}\Bigr)=\mu_4-3\mu_2^2$$

高次の関係も、展開を続ければ求められる。一般の次数では、次の漸化式を使うほうが計算が短い。

証明

$M_X=\mathrm{e}^{K_X}$ を微分すると $M_X'=K_X'M_X$ である。この両辺を $n-1$ 回微分し、右辺に Leibniz の公式を使うと

$$M_X^{(n)}=\sum_{j=0}^{n-1}\binom{n-1}{j}K_X^{(j+1)}M_X^{(n-1-j)}$$

となる。原点を代入して $k=j+1$ と置けば、(8.22) を得る。後半は、$X-E[X]$ に前半を使えばよい。そのキュムラントは、2次以上では $X$ のものに等しく、1次は0である。

たとえば4次の後半の式は、次のとおりである。これは (8.21) を逆向きに書いたものになる。

$$\mu_4=3\kappa_2\mu_2+3\kappa_3\mu_1+\kappa_4=3\kappa_2^2+\kappa_4$$

(8.22) を $n=1,2,\dots$ と順に使えば、キュムラントを1つずつ求めることもできる。

$$\kappa_n=m_n-\sum_{k=1}^{n-1}\binom{n-1}{k-1}\kappa_km_{n-k}$$

独立和で足し算になる

証明

命題 8.11 から、0の近くで $M_{X+Y}=M_XM_Y$ である。対数をとって $K_{X+Y}=K_X+K_Y$ となる。$n$ 回微分して原点を代入すればよい。

$M_{aX}(t)=M_X(at)$ から $K_{aX}(t)=K_X(at)$ である。連鎖律により $K_{aX}^{(n)}(0)=a^nK_X^{(n)}(0)$ である。平行移動は命題 8.22 の証明で示した。

分散が独立和で足し算になることはよく知られているが、これは $\kappa_2$ の加法性の特別な場合である。モーメント $E[(X+Y)^k]$ そのものは交差項を含むので、足し算にならない。

• 平均のまわりの3次モーメント $\mu_3=\kappa_3$ は加法的である。
• 4次の $\mu_4$ は $\kappa_4+3\kappa_2^2$ なので、加法的でない。

代表的な分布のキュムラントを、表 8.1 の積率母関数の対数から求めておく。

• 正規分布 $\mathrm N(\mu,\sigma^2)$：$K(t)=\mu t+\frac{\sigma^2}{2}t^2$ は2次式である。したがって $\kappa_1=\mu$、$\kappa_2=\sigma^2$ で、3次以上はすべて0である。
• Poisson 分布 $\mathrm{Po}(\lambda)$：次の展開から、すべてのキュムラントが $\lambda$ に等しい。

$$K(t)=\lambda(\mathrm{e}^t-1)=\lambda\sum_{n\ge1}\frac{t^n}{n!}$$

• ガンマ分布 $\mathrm{Ga}(\alpha,\lambda)$：次の展開から、$\kappa_n=\alpha\,(n-1)!/\lambda^n$ である。

$$K(t)=-\alpha\log(1-t/\lambda)=\alpha\sum_{n\ge1}\frac{1}{n}\Bigl(\frac{t}{\lambda}\Bigr)^n$$

3次以上のキュムラントがすべて0になるのは正規分布（と定数）の特徴である。より強く、次の主張が知られている。

証明の筋を3段で書く。完全な証明は確率論の専門書に譲る。

1. 特性関数の対数が、$d$ 次の多項式 $P$ だとする。特性関数は、複素平面全体で正則な関数 $\mathrm{e}^{P(z)}$ に延長される。
2. 整関数に延長される特性関数には、次の不等式が成り立つ。左辺は $\left\vert E[\mathrm{e}^{\mathrm{i} xX}\mathrm{e}^{-yX}]\right\vert \le E[\mathrm{e}^{-yX}]$ で評価できる。

$$\left\vert \varphi_X(x+\mathrm{i} y)\right\vert \le\varphi_X(\mathrm{i} y)$$ 3. これを $\operatorname{Re} P(x+\mathrm{i} y)\le\operatorname{Re} P(\mathrm{i} y)$ と書き直す。$d\ge3$ のとき、最高次の項が実部を大きくする方向を選ぶと、この不等式が破れる。

この定理から、3次以上のキュムラントの有限個だけが0でない分布は存在しない。3次以上のキュムラントは「正規分布からのずれ」を測る量とみなせる。

歪度と尖度

3次と4次のキュムラントを、尺度に依存しない形に直したものが歪度と尖度である。

$\mu_4/\mu_2^2$ を尖度と呼び、$\gamma_2$ を超過尖度と呼ぶ流儀もある。本書では、正規分布で0になる $\gamma_2$ を尖度と呼ぶ。

$a>0$ とし、$X\mapsto aX+c$ と変換する。命題 8.24 から、2次以上のキュムラントは $a^n$ 倍になる。(8.24) の分子と分母が同じ冪で変わるので、歪度と尖度は変わらない（$a<0$ では歪度の符号だけが反転する）。つまり、歪度と尖度は、位置と尺度を取り除いた「分布の形」だけを測る量である。

2つの量の符号は、次のことを表す。

• 歪度 $\gamma_1>0$。平均から右へ離れた値の3乗が、左側より大きく寄与する。つまり右に長い裾をもつ。対称な分布では $\mu_3=0$ で、歪度は0である。
• 尖度 $\gamma_2>0$。同じ分散をもつ正規分布より、4次モーメントが大きい。つまり平均から大きく離れた値が出やすい（裾が重い）。

尖度には下限がある。$V\bigl[(X-E[X])^2\bigr]=\mu_4-\mu_2^2\ge0$ から $\mu_4/\mu_2^2\ge1$ である。つまり $\gamma_2\ge-2$ である。等号は $(X-E[X])^2$ が定数のとき、すなわち2点を等確率でとるときに限る。

ガンマ分布では、歪度と尖度は次のようになり、レートによらない。

$$\gamma_1=\frac{2\alpha/\lambda^3}{(\alpha/\lambda^2)^{3/2}}=\frac{2}{\sqrt\alpha},\qquad \gamma_2=\frac{6\alpha/\lambda^4}{\alpha^2/\lambda^4}=\frac{6}{\alpha}$$

形のパラメータが大きくなるほど0に近づくことは、次の独立和の性質から理解できる。

証明

(8.23) から $\kappa_k(S_n)=n\kappa_k$ である。標準化は、和を平行移動して $(n\kappa_2)^{-1/2}$ 倍することである。したがって2次以上のキュムラントは

$$n\kappa_k\cdot(n\kappa_2)^{-k/2}=n^{1-k/2}\frac{\kappa_k}{\kappa_2^{k/2}}$$

となる。3次と4次が、それぞれ (8.25) である。

標準化した和のキュムラントは、2次が1、3次以上が0に近づく。これは標準正規分布のキュムラントの並び（2次が1、それ以外は0）である。

独立和が正規分布に近づくという中心極限定理の主張を、キュムラントの言葉で見たものになっている。ただし「キュムラントが収束すれば分布が収束する」ことは、ここでは示していない。厳密な証明は第13章 §13.2 で特性関数を使って行う。

形のパラメータ $\alpha$ が整数のとき、$\mathrm{Ga}(\alpha,\lambda)$ は、独立な指数分布をその個数だけ足した和である。指数分布の歪度2・尖度6に (8.25) を使えば、上で求めた $2/\sqrt\alpha$、$6/\alpha$ が再現される。3次以上のキュムラントを独立性の判定に使う考え方は、第9章 §9.4 の独立成分分析で扱う。

確認テスト

オリジナル

1. 8.4-1 $a\neq0$ とし、$Y=aX+c$ と置く。$\kappa_2(Y)=a^2\kappa_2(X)$ と $\kappa_3(Y)=a^3\kappa_3(X)$ を使って、次を確かめよ。

$$\gamma_1(Y)=\mathrm{sgn}(a)\,\gamma_1(X),\qquad \gamma_2(Y)=\gamma_2(X)$$ 2. 8.4-2 $X\sim\mathrm{Po}(\lambda)$ の歪度と尖度を求めよ。$\lambda=4$ のときの値を答えよ。3. 8.4-3 $X\sim\mathrm U\bigl(-\frac12,\frac12\bigr)$ の積率母関数は、$M_X(t)=\dfrac{\sinh(t/2)}{t/2}$ である。$K_X(t)$ を4次の項まで展開せよ。それを使って $\kappa_2$、$\kappa_4$ を求め、尖度を求めよ。4. 8.4-4 漸化式 (8.22) の後半を用いて、次の2式を導け。

$$\mu_5=\kappa_5+10\kappa_2\kappa_3,\qquad \mu_6=\kappa_6+15\kappa_2\kappa_4+10\kappa_3^2+15\kappa_2^3$$ 5. 8.4-5 密度 $\frac12\mathrm{e}^{-\left\vert x\right\vert }$ の Laplace 分布を考える。$K_X(t)=-\log(1-t^2)$ から、2次と4次のキュムラントと尖度を求めよ。また独立な $n$ 個の和の尖度を求めよ。