当てる $D$ の性質：容量は $D$ の球の半径

$\ln\frac{W(y|x)}{r(y)}=\ln\frac{W(y|x)}{q(y)}+\ln\frac{q(y)}{r(y)}$ と分けて、$p(x)W(y\,|\,x)$ を掛けて $x,y$ について和をとる。第1項の和は式 (1.6.3) から $I(p,W)$ になる。第2項は $x$ について先に和をとると $\sum_xp(x)W(y\,|\,x)=q(y)$ なので、$\sum_yq(y)\ln\frac{q(y)}{r(y)}=D(q\,\|\,r)$ になる。

式 (1.6.6) の $D(q\,\|\,r)$ は $0$ 以上で、$r=q$ のときに限って $0$ になる（$D$ の非負性と等号条件、相対エントロピーから情報と物理を組み立てる 第1部第3章）。凹性については、$r$ を1つ止めると右辺の和は $p$ の1次関数で、1次関数の族の下限は凹関数になる。

（十分性）式 (1.6.8) が成り立つとする。$p^*$ で平均すると $I(p^*,W)=\sum_xp^*(x)D(W_x\,\|\,q^*)=C$ である。任意の入力 $p$ について、恒等式 (1.6.6) を $r=q^*$ で使うと

$$I(p,W)=\sum_xp(x)\,D(W_x\,\|\,q^*)-D(pW\,\|\,q^*)\le\sum_xp(x)\,D(W_x\,\|\,q^*)\le C .$$

最後の不等号は、どの $x$ でも $D(W_x\,\|\,q^*)\le C$ だからである。よって $p^*$ は最大を与え、最大値は $C$ になる。

（必要性）$p^*$ が最大を与えるとし、$C=I(p^*,W)$ とおく。ある入力 $x_0$ について $D(W_{x_0}\,\|\,q^*)>C$ だったとする。$x_0$ に確率を集めた分布 $\delta_{x_0}$ へ向けて $p_t=(1-t)p^*+t\,\delta_{x_0}$ と動かすと、$I$ の $t=0$ での右微分は$\sum_x(\delta_{x_0}(x)-p^*(x))\frac{\partial I}{\partial p(x)}$ で、偏微分は $I=\sum_xp(x)\sum_yW\ln W-\sum_yq\ln q$ を $p(x)$ で微分して

$$\frac{\partial I}{\partial p(x)}=\sum_yW(y\,|\,x)\ln W(y\,|\,x)-\sum_yW(y\,|\,x)\bigl(\ln q(y)+1\bigr)=D(W_x\,\|\,q)-1$$

となる。したがって右微分は $\bigl(D(W_{x_0}\,\|\,q^*)-1\bigr)-\bigl(C-1\bigr)>0$ で、$t$ を少し正にすると $I$ が増える。これは $p^*$ の最大性に反するので、すべての $x$ で $D(W_x\,\|\,q^*)\le C$ である。さらに $\sum_xp^*(x)D(W_x\,\|\,q^*)=C$ で、各項が $C$ 以下なので、$p^*(x)>0$ の $x$ ではすべて等号になる。

任意の $r$ について、恒等式 (1.6.6) を $p=p^*$ で使うと$C=I(p^*,W)\le\sum_xp^*(x)D(W_x\,\|\,r)\le\max_xD(W_x\,\|\,r)$ で、式 (1.6.10) が出る。$r=q^*$ を選ぶと、Kuhn–Tucker 条件 (1.6.8) から $\max_xD(W_x\,\|\,q^*)=C$ となり、等号が達成される。