当てる $D$ の性質：非負性と Pythagoras の等式

相対エントロピーから情報と物理を組み立てる　第2部 第1章 §2.1.2　★★★ 解は指数型の分布で、拘束を満たす任意の分布について $D(p\,\|\,q)=D(p\,\|\,p_\lambda)+D(p_\lambda\,\|\,q)$ が成り立つ。非負性からただ1つの最小が出る

未定乗数で候補を出す

式 (2.1.3) を未定乗数で解く。規格化の乗数を $\alpha$、拘束 $\langle g_k \rangle _p=\bar g_k$ の乗数を $\lambda_k$ として

$$\sum_xp(x)\ln\frac{p(x)}{q(x)}+\alpha\Bigl(\sum_xp(x)-1\Bigr)+\sum_k\lambda_k\Bigl(\sum_xp(x)g_k(x)-\bar g_k\Bigr)$$

を $p(x)$ で微分して $0$ とおくと、$\ln\bigl(p(x)/q(x)\bigr)+1+\alpha+\sum_k\lambda_kg_k(x)=0$ となる。規格化で $\alpha$ を消すと

$$p_\lambda(x)=\frac{q(x)\,\mathrm{e}^{-\lambda\cdot g(x)}}{Z_q(\lambda)},\qquad Z_q(\lambda)\coloneqq\sum_xq(x)\,\mathrm{e}^{-\lambda\cdot g(x)},\qquad \lambda\cdot g(x)\coloneqq\sum_{k=1}^m\lambda_kg_k(x)\tag{2.1.4}$$

を得る。この形の分布の族を指数型分布族と呼び、$Z_q$ を分配関数と呼ぶ。乗数 $\lambda$ は、拘束

$$\langle g_k \rangle _{p_\lambda}=-\frac{\partial \ln Z_q}{\partial \lambda_k}=\bar g_k\qquad(k=1,\dots,m)\tag{2.1.5}$$

を満たすように決める。参照分布が一様分布 $q=u$ のときは、$\lvert \mathcal X\rvert$ を外に出して $Z(\lambda)\coloneqq\sum_x\mathrm{e}^{-\lambda\cdot g(x)}=\lvert \mathcal X\rvert \,Z_u(\lambda)$ と書き、$p_\lambda(x)=\mathrm{e}^{-\lambda\cdot g(x)}/Z(\lambda)$ とする。

未定乗数の条件から分かるのは停留点だけで、それが最小であること、ほかに最小がないことは分からない。この2つは次の等式から出る。

Pythagoras の等式

証明

差をとると

$$D(p\,\|\,q)-D(p\,\|\,p_\lambda)=\sum_xp(x)\ln\frac{p_\lambda(x)}{q(x)}=\sum_xp(x)\bigl(-\lambda\cdot g(x)-\ln Z_q(\lambda)\bigr)=-\lambda\cdot\bar g-\ln Z_q(\lambda).$$

最後の等号で $p\in\mathcal C$ を使った。右辺は $p$ によらないので、$p=p_\lambda$ とおいた値 $D(p_\lambda\,\|\,q)$ に等しい。これで式 (2.1.6) と式 (2.1.7) が出る。$D(p\,\|\,p_\lambda)\ge0$ で、等号は $p=p_\lambda$ のときだけなので（$D$ の非負性、第1部第1章）、$p\neq p_\lambda$ なら $D(p\,\|\,q)>D(p_\lambda\,\|\,q)$ である。

拘束の集合が凸なだけなら、等号は不等号になる（第1部第8章の命題 1.8.4）。期待値の拘束は線形なので等号で成り立つ。

この証明では、$\ln(p_\lambda/q)$ が拘束の関数 $g_k$ の1次式であることだけを使った。拘束を満たす分布は、$g_k$ の1次式の平均をどれも同じ値にするので、差が $p$ によらなくなる。式 (2.1.6) は、$D$ を距離の2乗とみなすと、$q$ から $\mathcal C$ へ下ろした垂線の足が $p_\lambda$ で、直角三角形の辺の2乗の和の関係が成り立つ、という形をしている。この見方から、$p_\lambda$ を $q$ の $\mathcal C$ への情報射影（I-射影）と呼ぶ¹1I. Csiszár (1975), Ann. Probab. 3, 146–158。下の脚注へ閉じる。2.1.5節では、この等式の右辺の $D(p\,\|\,p_\lambda)$ が、拘束のもとで経験分布が $p$ になる確率の指数になることを見る。

一様分布 $q=u$ では、式 (2.1.2) と式 (2.1.7) から、最大エントロピーの値が

$$H(p_\lambda)=\ln Z(\lambda)+\lambda\cdot\bar g\tag{2.1.8}$$

と書ける。

乗数の決まり方：$\ln Z$ の凸性

乗数 $\lambda$ がただ1つに決まることは、$\ln Z_q$ の2階微分から分かる。式 (2.1.5) をもう一度微分すると

$$\frac{\partial^2\ln Z_q}{\partial\lambda_k\,\partial\lambda_l}=\langle g_kg_l \rangle _{p_\lambda}-\langle g_k \rangle _{p_\lambda}\langle g_l \rangle _{p_\lambda}\tag{2.1.9}$$

で、右辺は $g_k$ の共分散行列なので半正定値である。拘束が1つなら、$-\mathrm{d}\langle g \rangle _{p_\lambda}/\mathrm{d}\lambda=\mathrm{Var}_{p_\lambda}(g)>0$（$g$ が定数でない限り）で、平均は $\lambda$ について狭義に減少し、拘束を満たす $\lambda$ は高々1つである。平均が $\bar g$ になる $\lambda$ が存在するのは、$\bar g$ が $g$ のとる値の最小値と最大値の間に（端を含まずに）あるときである。サイコロで平均が $6$ なら、$\mathcal C$ には「$6$ だけが出る分布」しかなく、$\lambda\to-\infty$ の極限がそれにあたる。

$\lambda$ と $\bar g$ の関係は Legendre 変換である。式 (2.1.8) の $H_{\max}(\bar g)\coloneqq H(p_\lambda)$ を $\bar g$ で微分すると、式 (2.1.5) の$\frac{\partial \ln Z}{\partial \lambda_k}=-\bar g_k$ が $\lambda$ の変化の分を打ち消して

$$\frac{\partial H_{\max}}{\partial \bar g_k}=\lambda_k\tag{2.1.10}$$

が残る。乗数は、拘束の値を少し変えたときに最大エントロピーがどれだけ変わるかを表す。$H_{\max}$ は $\bar g$ の凹関数で、$\ln Z$ は $\lambda$ の凸関数である（解析力学から様々な理論分野を組み立てる 第1部第7章 の Legendre 変換と同じ構造）。図 2.1.2 にサイコロの $H_{\max}$ を示す。

1　I. Csiszár (1975), Ann. Probab. 3, 146–158。