出てくるもの（1）：情報量はすべて $D$ で書ける

相対エントロピーから情報と物理を組み立てる　第1部 第1章 §1.1.3　★★★ Shannon エントロピー・相互情報量・Fisher 情報は、比べる相手をそれぞれ一様分布・独立な分布・少しずらした分布に選んだ $D$ である

Shannon エントロピー：一様分布と比べる

確率変数 $X$ の Shannon エントロピー

$$H(X)=-\sum_xp(x)\ln p(x)\tag{1.1.5}$$

は、値を1つ知ったときの驚き $-\ln p(x)$ の平均である¹1C. E. Shannon (1948), Bell Syst. Tech. J. 27, 379–423 および 623–656。下の脚注へ閉じる（驚きという読み方と、その意味づけは 第1部第2章）。値の個数を $\lvert \mathcal X\rvert$ とし、一様分布 $u(x)=1/\lvert \mathcal X\rvert$ と比べると、式 (1.1.1) から

$$H(X)=\ln\lvert \mathcal X\rvert -D(p\,\|\,u)\tag{1.1.6}$$

が出る。非負性から $H(X)\le\ln\lvert \mathcal X\rvert$ で、等号は一様分布のときに限る。エントロピーは「一様分布からどれだけ離れていないか」を測っていることになる。

相互情報量：独立な分布と比べる

2つの確率変数 $X$, $Y$ の結合分布 $p_{XY}$ と、それぞれの周辺分布の積 $p_Xp_Y$ を比べた

$$I(X;Y)=D(p_{XY}\,\|\,p_Xp_Y)=\sum_{x,y}p_{XY}(x,y)\ln\frac{p_{XY}(x,y)}{p_X(x)p_Y(y)}\tag{1.1.7}$$

を相互情報量と呼ぶ。$p_Xp_Y$ は「$X$ と $Y$ が独立だったら」という分布なので、$I(X;Y)$ は独立という仮説から実際の結合分布を見分ける手がかりの量である。非負性から $I(X;Y)\ge0$ で、等号は独立のときに限る。対数の中身を分けると $I(X;Y)=H(X)+H(Y)-H(X,Y)$ と書くこともできる。通信路容量（第1部第6章）は、入力の分布を選んで $I(X;Y)$ を最大にしたものである。

Fisher 情報：少しずらした分布と比べる

パラメータ $\theta$ を持つ分布の族 $p_\theta$ を考え、$p_\theta$ と、パラメータを $\delta$ だけずらした $p_{\theta+\delta}$ を比べる。$D(p_\theta\,\|\,p_{\theta+\delta})$ は $\delta=0$ で最小値 $0$ をとるので、$\delta$ の1次の項は無く、2次から始まる。

$$D(p_\theta\,\|\,p_{\theta+\delta})=\frac12J(\theta)\,\delta^2+\mathcal{O}(\delta^3),\qquad J(\theta)=\langle \bigl(\partial_\theta\ln p_\theta(X)\bigr)^2 \rangle _{p_\theta}\tag{1.1.8}$$

の係数 $J(\theta)$ が Fisher 情報である（2次の係数がこの形になることは 第1部第7章 で示す）。$J(\theta)$ が大きいほど、パラメータを少し変えただけで分布が見分けやすくなるので、$\theta$ を精度よく推定することができる。この直観を不等式にしたものが Cramér–Rao の不等式 $\mathrm{Var}(\hat\theta)\ge1/J(\theta)$ である。統計学の教科書では Fisher 情報を $I(\theta)$ と書くが、この巻では相互情報量 $I(X;Y)$ と区別するため $J(\theta)$ と書く。

量子系でも同じ組み立てで、密度行列 $\hat\rho$, $\hat\sigma$ の量子相対エントロピー $D(\hat\rho\,\|\,\hat\sigma)=\operatorname{Tr}\hat\rho(\ln\hat\rho-\ln\hat\sigma)$ を一様な状態・積状態・少しずらした状態と比べると、von Neumann エントロピー・量子相互情報量・量子 Fisher 情報が出る（第3部第2章）。

1　C. E. Shannon (1948), Bell Syst. Tech. J. 27, 379–423 および 623–656。