キュムラントと独立成分分析

確率論入門　第9章 §9.4　★★ 独立なら混合キュムラントはすべて 0 になる。4次のキュムラントで、無相関なだけの成分と独立な成分を見分ける

同時キュムラント

第8章 §8.4 では、1つの確率変数 $X$ のキュムラント $\kappa_n(X)$ を、次の関数の 0 での微分係数として定めた。

$$K_X(t)=\log M_X(t)$$

そして、キュムラントが独立和で足し算になることを示した。これを複数の確率変数へ広げる。この節では簡単のため、扱う確率変数はすべて 0 の近くで積率母関数が有限であるとする（第8章 §8.4 の注意と同じく、4次までの量については4次のモーメントが有限であれば足りる）。

同じ確率変数を $n$ 個並べた同時キュムラントを考える。$X=X_j$ とする。$\kappa(X,\dots,X)$ は、キュムラント母関数を $t_j$ だけの関数とみたときの高階の微分係数である。よってこれは第8章の $\kappa_n(X)$ に一致する。

2つの引数の $\kappa(X,Y)$ は、共分散 $\mathrm{Cov}(X,Y)$ に一致する。下の (9.24) の導出と同じ展開で、2次の項から分かる。

証明

(1) 偏微分の順序を入れ替えてよいことによる。$K_{\bm X}$ は原点の近くで何回でも微分できる（第8章 §8.2 の議論を各変数に使う）。

(2) 正方行列 $B$ をとり、$\bm Y=B\bm X$ とすると、

$$K_{\bm Y}(\bm u)=\log E[\mathrm{e}^{\bm u^\top B\bm X}]=K_{\bm X}(B^\top\bm u)$$

である。連鎖律から $\frac{\partial}{\partial u_a}=\sum_jB_{aj}\frac{\partial}{\partial t_j}$ である。よって $\bm Y$ の同時キュムラントは、$\bm X$ の同時キュムラントの各引数について線形な組み合わせになる。

$B$ の第1行を $(c_1,\dots,c_d)$、他の行を単位行列の行にとればよい。同じ確率変数を何度も並べたベクトルを考えれば、重複のある添字も扱える。

(3) 独立性から（第5章 §5.4）

$$E[\mathrm{e}^{\bm t^\top\bm X}]=E[\mathrm{e}^{\sum_{J_1}t_jX_j}]\,E[\mathrm{e}^{\sum_{J_2}t_jX_j}]$$

である。対数をとると、$K_{\bm X}(\bm t)=K_1(\bm t_{J_1})+K_2(\bm t_{J_2})$ と、片方の組の変数だけの関数どうしの和になる。

• 前者を $J_2$ の変数で微分すると 0 である。
• 後者を $J_1$ の変数で微分すると 0 である。

よって両方の変数を含む偏微分は 0 である。

(4) $m_{ij}=E[X_iX_j]$、$m_{ijkl}=E[X_iX_jX_kX_l]$ と書く。平均が 0 なので、原点の近くで

$$E[\mathrm{e}^{\bm t^\top\bm X}]=1+u,\qquad u=\frac12\sum_{i,j}m_{ij}t_it_j+\frac16\sum_{i,j,k}m_{ijk}t_it_jt_k+\frac1{24}\sum_{i,j,k,l}m_{ijkl}t_it_jt_kt_l+\cdots$$

である。対数の展開は

$$\log(1+u)=u-\frac{u^2}{2}+\frac{u^3}{3}-\cdots$$

である。$u$ は2次から始まるので、4次の項は次の2つだけから来る。

$$({u}\text{ の4次の項}),\qquad -\frac12\Bigl(\frac12\sum m_{ij}t_it_j\Bigr)^2$$

(9.23) の4階の偏微分 $\partial_{t_1}\partial_{t_2}\partial_{t_3}\partial_{t_4}$ は、展開での単項式 $t_1t_2t_3t_4$ の係数に等しい（各変数について1次なので階乗が出ない）。2つの項から来る係数を順に求める。

1. 第1の項。$\frac1{24}\sum m_{ijkl}t_it_jt_kt_l$ の中で、添字が $(1,2,3,4)$ の並べ替えになる項は 24 個ある。よって係数は $m_{1234}$ である。
2. 第2の項。$\sum_{i,j}m_{ij}t_it_j=2\sum_{i<j}m_{ij}t_it_j$ なので、第2の項は

$$-\frac12\cdot\frac14\cdot4\Bigl(\sum_{i<j}m_{ij}t_it_j\Bigr)^2$$

となる。その中の $t_1t_2t_3t_4$ の係数は $-\frac12\cdot2(m_{12}m_{34}+m_{13}m_{24}+m_{14}m_{23})$ である。

合わせて (9.24) を得る。

平均 0 の $X,Y$ について、(9.24) をベクトル $(X,X,Y,Y)$ に使うと

$$\kappa(X,X,Y,Y)=E[X^2Y^2]-E[X^2]E[Y^2]-2E[XY]^2\tag{9.25}$$

となる。さらに $Y=X$ と置けば

$$\kappa_4(X)=E[X^4]-3E[X^2]^2$$

で、第8章 §8.4 の $\kappa_4=\mu_4-3\mu_2^2$ に一致する。

性質 (3) は、混合キュムラントが「独立からのずれ」を測る量であることを示している。

• 2次の混合キュムラントは共分散なので、無相関は2次の混合キュムラントが 0 であることにあたる。
• 独立であるには、すべての次数の混合キュムラントが 0 でなければならない。
• 逆に、積率母関数が有限な場合は、すべての混合キュムラントが 0 なら独立である。

最後の主張の証明の筋を書く。混合キュムラントがすべて 0 なら、$K_{(X,Y)}(s,t)$ の原点のまわりの冪級数に混合項が無い。よって原点の近くで

$$K_{(X,Y)}(s,t)=K_X(s)+K_Y(t),\qquad\text{つまり}\qquad E[\mathrm{e}^{sX+tY}]=M_X(s)M_Y(t)$$

となる。定理 9.7 の証明を2変数に移すと、同時積率母関数が原点の近くで一致する2つの確率ベクトルは同分布であることが示せる。右辺は独立なコピーの同時積率母関数なので、$(X,Y)$ は独立なコピーと同分布である。つまり2つは独立である。

独立成分分析

2人が同時に話している部屋に2本のマイクを置くと、それぞれのマイクには2人の声が異なる割合で混ざって記録される。混ざった記録から2人の声を分離する問題を、確率論の言葉で書く。次の2つがあるとする。

• 独立な確率変数 $S_1,\dots,S_d$（源信号）を並べたベクトル $\bm S$。
• 正則な $d\times d$ 行列 $A$（混合行列）。

観測できるのは

$$\bm X=A\bm S\tag{9.26}$$

だけであるとする。混合行列も源信号も知らずに、観測の分布だけから $\bm S$ を復元したい。これを独立成分分析（independent component analysis、ICA）と呼ぶ。

源信号の大きさと符号は $A$ の列に吸収できる。よって $E[S_k]=0$、$V[S_k]=1$ と仮定してよい。このとき $\bm S$ の共分散行列は単位行列 $I$ である。

第1段：白色化（2次の情報）

観測 $\bm X$ の共分散行列は

$$\Sigma=E[\bm X\bm X^\top]=AE[\bm S\bm S^\top]A^\top=AA^\top$$

で、正定値である。$V\Sigma V^\top=I$ となる行列 $V$ を選ぶ。たとえば $\Sigma=LL^\top$ と Cholesky 分解して、$V=L^{-1}$ とすればよい。$\bm Z=V\bm X$ と置くと、その共分散行列は $V\Sigma V^\top=I$ である（白色化）。

$\bm Z=(VA)\bm S$ で、$Q\coloneqq VA$ は

$$QQ^\top=VAA^\top V^\top=V\Sigma V^\top=I$$

を満たすので直交行列である。こうして問題は、直交行列 $Q$ による混合 $\bm Z=Q\bm S$ を解くことに帰着する。

ここで2次の情報は使い切っている。直交行列 $R$ をどれだけ掛けても、共分散行列は $RR^\top=I$ のままである。共分散だけを見ても、回転は決められない。

とくに源信号がすべて正規分布なら、$\bm S\sim\mathrm N_d(\bm 0,I)$ である。(9.20) から

$$\varphi_{Q\bm S}(\bm t)=\mathrm{e}^{-\left\vert Q^\top\bm t\right\vert ^2/2}=\mathrm{e}^{-\left\vert \bm t\right\vert ^2/2}$$

となり、定理 9.10 から $Q\bm S\overset{d}{=}\bm S$ である。観測の分布が $Q$ によらないので、$Q$ を推定することは原理的にできない。

源信号が正規分布でないことが、分離のための条件になる。正規分布では3次以上のキュムラントがすべて 0 である（第8章 §8.4）。このことから、高次のキュムラントを使うことが自然に考えられる。

第2段：4次のキュムラントの最大化

単位ベクトル $\bm v$ について、射影 $Y=\bm v^\top\bm Z$ の4次のキュムラントを考える。

証明

(1) 第8章 §8.4 のキュムラントの加法性と斉次性を、独立な $w_jS_j$ の和に使う。

$$\kappa_4\Bigl(\sum_jw_jS_j\Bigr)=\sum_j\kappa_4(w_jS_j)=\sum_jw_j^4\kappa_4(S_j)$$

(2) $\bm w=Q^\top\bm v$ と置くと、$\bm v^\top\bm Z=\bm v^\top Q\bm S=\bm w^\top\bm S$ である。$Q$ が直交行列なので、$\bm w$ も単位ベクトルである。(1) から

$$\left\vert \kappa_4(\bm v^\top\bm Z)\right\vert =\Bigl\lvert\sum_jw_j^4k_j\Bigr\rvert\le\sum_jw_j^4\left\vert k_j\right\vert \le M\sum_jw_j^4\le M\Bigl(\sum_jw_j^2\Bigr)^2=M$$

である。最後の不等号は次の恒等式による。

$$\Bigl(\sum_jw_j^2\Bigr)^2=\sum_jw_j^4+\sum_{i\neq j}w_i^2w_j^2$$

等号が成り立つには、次の2つが必要である。

• 最後の不等号で、$i\neq j$ について $w_i^2w_j^2=0$ となること。つまり $\bm w$ のただ1つの成分だけが 0 でなく、$\bm w=\pm\bm e_j$ であること。
• 2つ目の不等号で $\left\vert k_j\right\vert =M$ となること。

逆にそのとき $\bm w^\top\bm S=\pm S_j$ で、$\left\vert \kappa_4\right\vert =\left\vert k_j\right\vert =M$ となる。

この定理から、白色化した $\bm Z$ について、$\left\vert \kappa_4(\bm v^\top\bm Z)\right\vert$ を最大にする単位ベクトルを探せばよい。そうすれば、源信号の1つが符号を除いて得られる。見つけた $\bm v$ に直交する部分空間に話を限って同じことを繰り返せば、4次のキュムラントが 0 でない源信号はすべて取り出せる。実際のデータでは $\kappa_4$ を標本の4次モーメントから推定して、最大化を数値的に行う（FastICA などの算法がこの原理に基づく）。

4次のキュムラントが 0 でも、その源信号が正規分布とは限らない。確認テスト 9.4-2 の射影のように、4次のキュムラントだけが 0 になる分布はある。その場合は他の次数のキュムラントを使えばよい。本質的に分離できないのは、正規分布の源信号が2つ以上ある場合だけであることが知られている。

確認テスト

オリジナル

1. 9.4-1 平均 0 の $X,Y$ が独立なら、(9.25) の右辺が 0 になることを、期待値の計算だけで直接確かめよ。

2. 9.4-2 $S_1\sim\mathrm U(-\sqrt3,\sqrt3)$ をとる。それと独立に、分散 1 の Laplace 分布（密度 $\frac{1}{\sqrt2}\mathrm{e}^{-\sqrt2\left\vert x\right\vert }$）に従う $S_2$ をとる。

   1. $\kappa_4(S_2)=3$ を示せ。
   2. 射影 $Y_\theta=\cos\theta\,S_1+\sin\theta\,S_2$ について、$\kappa_4(Y_\theta)$ を求めよ。また、その絶対値が最大になる $\theta\in[0,\pi)$ を求めよ。
   3. $\kappa_4(Y_\theta)=0$ となる $\theta\in(0,\frac\pi2)$ を求めよ。また、そのとき $Y_\theta$ は正規分布に従わないことを示せ。

3. 9.4-3 次の混合行列と観測を考える（$\bm S$ の共分散行列は $I$）。

$$A=\begin{pmatrix}2&1\\0&1\end{pmatrix},\qquad\bm X=A\bm S$$

$\Sigma=AA^\top$ を Cholesky 分解して、$\Sigma=LL^\top$ と書く（下三角行列の対角成分は正にとる）。$L^{-1}A$ を計算して、直交行列であることを確かめよ。4. 9.4-4 $\bm S\sim\mathrm N_2(\bm 0,I)$ とし、$Q$ を2次の直交行列とする。$\bm Z=Q\bm S$ と置く。4次の同時キュムラント $\kappa(Z_i,Z_j,Z_k,Z_l)$ がすべて 0 であることを示せ。