当てる D の性質：連鎖律と単調性

相対エントロピーから情報と物理を組み立てる　第1部 第4章 §1.4.2　★★★ 連鎖律と非負性の2つだけから $D(Wp\,\|\,Wq)\le D(p\,\|\,q)$ を示す。この章の結果はすべてこの不等式から出る

前の章の連鎖律

前の章（第1部第3章）では、$x$ ごとの条件付き分布の相対エントロピーを $p_X$ で平均した条件付き相対エントロピー

$$D\bigl(p_{Y|X}\,\|\,q_{Y|X}\,\big|\,p_X\bigr)=\sum_xp_X(x)\,D\bigl(p(\cdot\,|\,x)\,\|\,q(\cdot\,|\,x)\bigr)\tag{1.4.6}$$

を定義し、同時分布の相対エントロピーがこれと周辺分布の相対エントロピーの和に分かれること（相対エントロピーの連鎖律）

$$D(p_{XY}\,\|\,q_{XY})=D(p_X\,\|\,q_X)+D\bigl(p_{Y|X}\,\|\,q_{Y|X}\,\big|\,p_X\bigr)\tag{1.4.7}$$

を示した。この章ではこの2つの式を結果として使う。必要な事実を3つ確認しておく。

第一に、式 (1.4.6) の各項は非負なので条件付き相対エントロピーは非負で、$0$ になるのは $p_X(x)>0$ のすべての $x$ で $p(\cdot\,|\,x)=q(\cdot\,|\,x)$ のときに限る。重みが $p_X$ であって $q_X$ でないのは、実際に $x$ が出る頻度が $p_X$ にしたがうからである。第二に、連鎖律は $X$ と $Y$ のどちらを先に分けても成り立つ。$p_{XY}=p_Y\,p_{X|Y}$ と分けて同じ計算をすると

$$D(p_{XY}\,\|\,q_{XY})=D(p_Y\,\|\,q_Y)+D\bigl(p_{X|Y}\,\|\,q_{X|Y}\,\big|\,p_Y\bigr)\tag{1.4.8}$$

である。次の定理の証明は、この2通りの分け方を見比べるだけで済む。第三に、前の章はこの式から周辺分布に移ると $D$ が増えないこと $D(p_X\,\|\,q_X)\le D(p_{XY}\,\|\,q_{XY})$ を出した。この節はそれを一般の通信路に広げる。

単調性（データ処理不等式）

序章（定理 1.1.2）では、この不等式を対数和不等式から示した。ここでは連鎖律を2通りに当てて示し、失う量が逆向きの条件付き分布の $D$ だと分かる形にする。

証明

入力と出力の組 $(X,Y)$ の同時分布を、入力が $p$ のときと $q$ のときで作る。

$$p_{XY}(x,y)=p(x)W(y\,|\,x),\qquad q_{XY}(x,y)=q(x)W(y\,|\,x).$$

連鎖律 (1.4.7) と (1.4.8) を使う。$X$ を先に分けると、条件付き分布はどちらも同じ $W(\cdot\,|\,x)$ なので条件付きの項は $0$ になり、

$$D(p_{XY}\,\|\,q_{XY})=D(p\,\|\,q)+0 .$$

式 (1.4.8) のように $Y$ を先に分けると、$Y$ の周辺分布は $Wp$ と $Wq$、条件付き分布は式 (1.4.10) なので

$$D(p_{XY}\,\|\,q_{XY})=D(Wp\,\|\,Wq)+D\bigl(p_{X|Y}\,\|\,q_{X|Y}\,\big|\,Wp\bigr)\ \ge\ D(Wp\,\|\,Wq).$$

2つを合わせて式 (1.4.9) を得る。差は $D(p_{X|Y}\,\|\,q_{X|Y}\,|\,Wp)$ で、条件付き相対エントロピーが $0$ になる条件から等号条件が出る。

証明の要点は、処理の前と後で「同じ $W$ を使った」ことが、$X$ を先に分けたときの条件付きの項を $0$ にした所にある。$p$ には $W$、$q$ には別の $W'$ を当てると、この項は $0$ にならず、不等式は一般に成り立たない（$W'$ を $Wq$ が $Wp$ から遠ざかるように選べば $D$ は増やすことができる）。

証明

どちらも1.4.1節で見たとおり確率行列で書ける処理なので、定理 1.4.1 に入る。(i) は連鎖律 (1.4.7) の条件付きの項が非負であることからも直接に出る。

Pinsker の不等式の一般の場合

系 1.4.2(ii) の使い方の例として、前の章で値が2つの場合（コイン）だけ示した Pinsker の不等式

$$D(p\,\|\,q)\ge\frac12\lVert p-q\rVert _1^2,\qquad \lVert p-q\rVert _1=\sum_x\lvert p(x)-q(x)\rvert\tag{1.4.11}$$

を、一般の有限集合の場合に示す。事象 $A=\{x:\,p(x)\ge q(x)\}$ をとり、$x$ が $A$ に入るかどうかだけを記録する関数 $f(x)=\mathbf 1[x\in A]$ を考える。$f$ で移した分布は2値の分布 $(p(A),\,1-p(A))$ と $(q(A),\,1-q(A))$ で、$A$ の外では $p<q$ なので

$$\lVert p-q\rVert _1=\sum_{x\in A}\bigl(p(x)-q(x)\bigr)+\sum_{x\notin A}\bigl(q(x)-p(x)\bigr)=2\bigl(p(A)-q(A)\bigr)$$

が成り立つ。2値の分布の差の絶対値の和も $2\lvert p(A)-q(A)\rvert$ なので、$f$ で移しても $\lVert \cdot\rVert _1$ は変わらない。したがって、系 1.4.2(ii) とコインの場合の Pinsker の不等式を順に使うと

$$D(p\,\|\,q)\ \ge\ D(p_{f(X)}\,\|\,q_{f(X)})\ \ge\ \frac12\bigl(2(p(A)-q(A))\bigr)^2=\frac12\lVert p-q\rVert _1^2$$

となる。証明では、$\lVert \cdot\rVert _1$ を変えずに $D$ を減らす処理を選んで、2値の問題に帰着させた。

近い2つの分布ではどれだけ縮むか

$q$ のどの成分も正で、$p$ が $q$ に近いとき、$p=q+\Delta$ と書いて $\ln(1+\Delta/q)$ を2次まで展開すると、$\sum_x\Delta(x)=0$ を使って

$$D(q+\Delta\,\|\,q)=\frac12\sum_x\frac{\Delta(x)^2}{q(x)}+\mathcal{O}(\Delta^3)\tag{1.4.12}$$

を得る。右辺の和を $\chi^2$ ダイバージェンスと呼ぶ（$\Delta\to0$ の極限の主要項であり、有限の $\Delta$ では差が残る）。2値対称通信路 $W_{\varepsilon }$ で $q$ が一様分布 $(1/2,1/2)$ なら、$W_{\varepsilon } q=q$ で $W_{\varepsilon }\Delta=(1-2\varepsilon )\Delta$ となるので、$\Delta\to0$ の極限で比は

$$\frac{D(W_{\varepsilon } p\,\|\,W_{\varepsilon } q)}{D(p\,\|\,q)}\ \longrightarrow\ (1-2\varepsilon )^2\tag{1.4.13}$$

になる。図 1.4.2 は、$p=(0.9,0.1)$ という一様分布から離れた分布でこの比を正確に計算したもので、どの $\varepsilon$ でも $1$ 以下であり、$\varepsilon =1/2$（出力が入力と無関係）で $0$ になる。