当てる D の性質：粗視化は D を減らす

相対エントロピーから情報と物理を組み立てる　第2部 第4章 §2.4.2　★★★ 区画平均も相関を忘れる操作も、平衡の密度との $D$ を減らす。減った量は捨てた情報 $D(\rho\,\|\,\text{粗視化した}\rho)$ に正確に等しい（Pythagoras の等式）

2つの粗視化

実験で見分けられるのは、相空間の細かい点ではなく、もっと粗い量である。このことを2通りの操作で表す。

区画平均は、各点から同じ区画の中の一様な点へ飛ばす確率の規則 $K(\Gamma\,|\,\Gamma')=1/\lvert A_k\rvert$（$\Gamma,\Gamma'\in A_k$）で書けるので、線型な通信路である。区画の中で一様な密度（区画ごとに一定の値をとる密度）は区画平均で動かない。とくに全体の一様分布は動かない。周辺の積の方は $\rho$ について線型でないが、部分ごとの密度の積で書ける密度は動かさない。

Pythagoras の等式

右辺はどちらの項も $0$ 以上なので、ただちに

$$D(\mathcal C\rho\,\|\,\sigma)\le D(\rho\,\|\,\sigma),\qquad D(\mathcal M\rho\,\|\,\sigma_1\sigma_2)\le D(\rho\,\|\,\sigma_1\sigma_2)\tag{2.4.9}$$

が従い、等号は $\rho$ がはじめから粗視化した形のときに限る。$\mathcal C$ は通信路なので左の不等式はデータ処理不等式そのものだが、定理 2.4.4 は不等式の両辺の差の値まで正確に与える。差 $D(\rho\,\|\,\mathcal C\rho)$ は「区画の中での細かい分布」の情報、差 $I(\Gamma_1;\Gamma_2)_\rho$ は部分どうしの相関の情報で、どちらも粗視化で捨てた情報の量である。

$\sigma$ を一様分布 $u$（全体の体積 $\lvert \Omega\rvert$）にとると、$D(\rho\,\|\,u)=\ln\lvert \Omega\rvert -H(\rho)$ なので、式 (2.4.7)・(2.4.8) はエントロピーの式

$$H(\mathcal C\rho)-H(\rho)=D(\rho\,\|\,\mathcal C\rho)\ge0,\qquad H(\rho_1)+H(\rho_2)-H(\rho)=I(\Gamma_1;\Gamma_2)_\rho\ge0\tag{2.4.10}$$

になる。粗視化で増えるエントロピーは、捨てた情報に等しい。例題 2.4.1 の周辺の和の増え $\frac12\ln(1+\tau^2)$ は、位置と運動量の相互情報量 $I(x;k)$ である。

図 2.4.1　粗視化の Pythagoras の等式（定理 2.4.4）。横の線は区画の中で一様な密度（または周辺の積の形の密度）の集まりを表す。$\mathcal C\rho$ はその集まりの中で $\rho$ に最も近い点で、斜辺 $D(\rho\,\|\,\sigma)$ は2辺の和に分かれる。$D$ は距離ではないが、この等式は直角三角形の辺の2乗の関係と同じ形をしている。

図 2.4.1 が表すもう1つの内容は、$\mathcal C\rho$ が「粗視化した形の密度のうちで $\rho$ に最も近いもの」だということである。実際、区画の中で一様な任意の $\tau$ について式 (2.4.7) の $\sigma$ を $\tau$ にすると $D(\rho\,\|\,\tau)=D(\rho\,\|\,\mathcal C\rho)+D(\mathcal C\rho\,\|\,\tau)\ge D(\rho\,\|\,\mathcal C\rho)$ で、最小は $\tau=\mathcal C\rho$ のときに達する。この意味で、粗視化は $D$ についての射影である。2.4.5 節の最大エントロピーへの粗視化も同じ形の射影になる。