比べる2つの分布：同じ通信路を通す前と後

相対エントロピーから情報と物理を組み立てる　第1部 第4章 §1.4.1　★★★ 確率的な処理を確率行列 $W$ で書き、比べる2組の分布 $(p,q)\mapsto(Wp,Wq)$ と $(p_{XY},p_Xp_Y)\mapsto(p_{XZ},p_Xp_Z)$ を用意する

前の章（第1部第3章）では、2つの分布 $p$ と $q$ の違いを測る量として相対エントロピー$D(p\,\|\,q)=\sum_xp(x)\ln\bigl(p(x)/q(x)\bigr)$ を定義し、Jensen の不等式から $D(p\,\|\,q)\ge0$（等号は $p=q$ のときに限る）を示した。また、相互情報量を同時分布と周辺分布の積との相対エントロピー $I(X;Y)=D(p_{XY}\,\|\,p_Xp_Y)$ として定義した。この章では、相対エントロピーのもう1つの基本的な性質を扱う。それは、2つの分布に同じ確率的な処理（通信路）を当てると、処理の後の相対エントロピーは処理の前より大きくならない、という性質である。式で書くと、確率行列 $W$ について

$$D(Wp\,\|\,Wq)\le D(p\,\|\,q)$$

が成り立つ。これを相対エントロピーのデータ処理不等式（単調性）と呼ぶ。

この章で比べる2つの分布は、同じ通信路に入れた2つの入力の分布と、その2つの出力の分布である。当てる性質は、相対エントロピーの連鎖律（同時分布の相対エントロピーを周辺と条件付きに分ける式）と、前の章の非負性の2つだけで足りる。そこから出てくるものは3つある。1つ目は、観測 $Y$ をさらに加工した $Z$ は $X$ について $Y$ 以上の情報を持たないという、相互情報量のデータ処理不等式 $I(X;Z)\le I(X;Y)$ である。2つ目は、データを統計量 $T(X)$ にまとめても情報が減らないのはどういうときか、という問いへの答えで、それが統計学の十分統計量になる。3つ目は、Markov 連鎖の分布と定常分布との相対エントロピーが時間とともに増えないという H 定理で、この巻が繰り返し扱う「第二法則はデータ処理不等式の1つの姿である」という見方の最初の例になる。

この章の対数はすべて自然対数で、情報量の単位は nat とする。ビットで書く所だけ $\log_2$ と書き、単位「ビット」を添える。確率変数は大文字 $X,Y,Z$、その値は小文字 $x,y,z$ で書き、すべて有限集合に値をとるとする（1.4.6節で連続の場合に1度だけ触れる）。

通信路と確率行列

入力 $x$ を受け取って、出力 $y$ を確率 $W(y\,|\,x)$ で返す処理を通信路と呼ぶ。$W(y\,|\,x)\ge0$ であり、入力 $x$ を1つ決めると出力のどれかは必ず出るので

$$\sum_yW(y\,|\,x)=1\qquad(\text{すべての }x)\tag{1.4.1}$$

が成り立つ。$W(y\,|\,x)$ を $y$ 行 $x$ 列の成分とする行列を確率行列と呼ぶ（各列の和が $1$）。入力の分布が $p$ のとき、出力の分布は

$$(Wp)(y)=\sum_xW(y\,|\,x)\,p(x)\tag{1.4.2}$$

で、これは行列 $W$ と縦ベクトル $p$ の積である。式 (1.4.1) から $\sum_y(Wp)(y)=\sum_xp(x)=1$ なので、$Wp$ も確率分布になる。

通信路という名前は電話線や無線の雑音を念頭に置いたものだが、この章では「確率的な処理」全般をこの形で書く。次の2つは確率的でない処理だが、確率行列の特別な場合として同じ形に入る。

• 関数で変換する：$y=f(x)$ と決まった値を返す処理は $W(y\,|\,x)=\delta_{y,f(x)}$（Kronecker のデルタ）。データから統計量 $T(x)$ を計算する操作はこの形である。
• 一部を忘れる：組 $(x,y)$ から $x$ だけを残す処理は $W(x'\,|\,x,y)=\delta_{x',x}$。同時分布 $p_{XY}$ はこれで周辺分布 $p_X$ に移る。

Markov 連鎖 $X\to Y\to Z$

$X$ を通信路 $W_1$ に通して $Y$ を得、その $Y$ を通信路 $W_2$ に通して $Z$ を得る。$Z$ を作るときに $X$ を見ないので、同時分布は

$$p(x,y,z)=p(x)\,W_1(y\,|\,x)\,W_2(z\,|\,y)\tag{1.4.3}$$

となる。この形の同時分布を持つ3つの確率変数の組を Markov 連鎖と呼び、$X\to Y\to Z$ と書く。式 (1.4.3) を $p(x,y)=p(x)W_1(y\,|\,x)$ で割ると $p(z\,|\,x,y)=W_2(z\,|\,y)$ が $x$ によらないので、$X\to Y\to Z$ は「$Y$ を知れば $X$ は $Z$ について何も付け加えない」こと、すなわち

$$p(x,z\,|\,y)=p(x\,|\,y)\,p(z\,|\,y)\qquad(p(y)>0)\tag{1.4.4}$$

と同じである（$Y$ を与えたとき $X$ と $Z$ が条件付き独立）。式 (1.4.4) は $X$ と $Z$ について対称なので、$X\to Y\to Z$ なら逆向きの $Z\to Y\to X$ も Markov 連鎖になる。この対称性は1.4.3節で使う。

比べる2組の分布

この章で比べる分布の組は2種類ある。

1つ目は、2つの入力の分布 $p,q$ と、それを同じ通信路 $W$ に通した出力の分布 $Wp,Wq$ である（図 1.4.1）。たとえば $p$ と $q$ は「コインに偏りがある」「偏りがない」という2つの仮説のもとでのデータの分布で、$W$ はデータの記録や要約の手続きである。処理の前の $D(p\,\|\,q)$ と処理の後の $D(Wp\,\|\,Wq)$ を比べる。

2つ目は、相互情報量で比べる組である。$I(X;Y)=D(p_{XY}\,\|\,p_Xp_Y)$ は、実際の同時分布 $p_{XY}$ と、$X$ と $Y$ が独立だとした分布 $p_Xp_Y$ を比べている。Markov 連鎖 $X\to Y\to Z$ では、$Y$ を $W_2$ で $Z$ に変える処理を、組 $(x,y)$ の $x$ はそのまま残して $y$ だけを $z$ に変える通信路とみなすことができる。この通信路を $\mathrm{id}\otimes W_2$ と書き、その成分を $\delta_{x',x}W_2(z\,|\,y)$ とする。式 (1.4.3) から

$$p_{XZ}(x,z)=\sum_yW_2(z\,|\,y)\,p_{XY}(x,y),\qquad p_X(x)\,p_Z(z)=\sum_yW_2(z\,|\,y)\,p_X(x)\,p_Y(y)\tag{1.4.5}$$

が成り立つ。左の式は式 (1.4.3) を $y$ について和をとったもの、右の式は $p_Z=W_2p_Y$ に $p_X(x)$ を掛けたものである。つまり $\mathrm{id}\otimes W_2$ は、組 $(p_{XY},\,p_Xp_Y)$ を組 $(p_{XZ},\,p_Xp_Z)$ へ、両方とも同じ通信路で移す。相互情報量の比較 $I(X;Y)$ と $I(X;Z)$ は、1つ目の比較の特別な場合になっている。左の式で Markov 性を使った点に注意する。$Z$ が $Y$ だけでなく $X$ も見て作られるなら、$p_{XZ}$ は $p_{XY}$ に1つの通信路を当てた形に書けない。