当てる性質：非負性とデータ処理不等式

$x>0$ で $\ln x\le x-1$ が成り立ち、等号は $x=1$ のときに限る（$x-1-\ln x$ は $x=1$ で最小値 $0$ をとる）。$p(x)>0$ の $x$ だけで和をとると

$$-D(p\,\|\,q)=\sum_{x:\,p(x)>0}p(x)\ln\frac{q(x)}{p(x)}\le\sum_{x:\,p(x)>0}p(x)\Bigl(\frac{q(x)}{p(x)}-1\Bigr)=\sum_{x:\,p(x)>0}q(x)-1\le0 .$$

等号には、$p(x)>0$ のすべての $x$ で $q(x)=p(x)$ であることが要る。

まず log-sum 不等式を示す。正の数 $a_1,\dots,a_k$, $b_1,\dots,b_k$ について $A=\sum_ia_i$, $B=\sum_ib_i$ とおくと

$$\sum_ia_i\ln\frac{a_i}{b_i}\ge A\ln\frac AB .$$

左辺から右辺を引くと $A\sum_i\frac{a_i}{A}\ln\frac{a_i/A}{b_i/B}$ となり、これは確率分布 $(a_i/A)$ の $(b_i/B)$ に対する相対エントロピーの $A$ 倍なので、定理 1.1.1 から $0$ 以上である。

出力の値 $y$ を1つ固定し、$a_x=W(y\,|\,x)p(x)$, $b_x=W(y\,|\,x)q(x)$ として log-sum 不等式を当てると

$$(Wp)(y)\ln\frac{(Wp)(y)}{(Wq)(y)}\le\sum_xW(y\,|\,x)p(x)\ln\frac{W(y\,|\,x)p(x)}{W(y\,|\,x)q(x)}=\sum_xW(y\,|\,x)p(x)\ln\frac{p(x)}{q(x)} .$$

$y$ について和をとり、$\sum_yW(y\,|\,x)=1$ を使うと式 (1.1.4) が出る。