授業で習った形との対応

相対エントロピーから情報と物理を組み立てる　第1部 第1章 §1.1.6　★★ ビットのエントロピー・自由エネルギー最小・Clausius の不等式・最尤推定が、それぞれどの2つの分布の $D$ にあたるか

この節では、情報理論・熱力学・統計学の授業や資格の勉強で習う形と、この巻の形を式で並べる。

情報理論：底2のエントロピー

情報理論の授業では、エントロピーを $-\sum_xp(x)\log_2p(x)$ と底2で書き、符号の平均の長さの下限として導入する。この巻の式 (1.1.5) は自然対数で、両者は $\ln2$ 倍だけ違う。相互情報量も同じ式で、$I(X;Y)=H(X)-H(X\,|\,Y)$ と「受け取ったあとに残る不確かさの減り方」として習うことが多い。この巻では、これを独立という仮説との $D$ として式 (1.1.7) で読む。どちらの書き方でも同じ値になるのは、対数の中身を分けて和を並べ替えるだけの違いだからである。

熱力学：自由エネルギー最小と Clausius の不等式

熱力学の授業では、温度と体積を決めた系の平衡は Helmholtz の自由エネルギー $F=U-TS$ の最小で決まる、と習い、第二法則を Clausius の不等式 $\Delta S\ge Q/T$ の形で書く。この巻では、前者を式 (1.1.11) の非負性、後者の等温の場合を式 (1.1.12) のデータ処理不等式として読む。等温で外から仕事をしない系では、熱浴からもらう熱 $Q$ は内部エネルギーの変化 $\Delta U$ に等しいので、Clausius の不等式は $\Delta S\ge\Delta U/T$、すなわち $\Delta F=\Delta U-T\Delta S\le0$ と同じである。統計力学の授業では、カノニカル分布を「系と熱浴を合わせた全体の等重率」から導く。この巻では、平均エネルギーだけを知っているときにエントロピーを最大にする分布として導く（Jaynes の最大エントロピー原理¹1E. T. Jaynes (1957), Phys. Rev. 106, 620–630。下の脚注へ閉じる、第2部第1章）。この最大化は、平均エネルギーを決めたときの $D(p\,\|\,p_{\mathrm{eq}})$ の最小化と同じ問題である。

統計学：最尤推定と Fisher 情報

統計学の授業では、観測値 $x_1,\dots,x_n$ から模型 $q_\theta$ のパラメータを推定するとき、対数尤度 $\sum_k\ln q_\theta(x_k)$ を最大にする $\hat\theta$ を選ぶ（最尤推定）。観測値の経験分布 $\hat p(x)=(\text{値 }x\text{ が出た回数})/n$ を使うと

$$\frac1n\sum_{k=1}^n\ln q_\theta(x_k)=\sum_x\hat p(x)\ln q_\theta(x)=-H(\hat p)-D(\hat p\,\|\,q_\theta)\tag{1.1.13}$$

と書け、$H(\hat p)$ は $\theta$ に依らない。したがって、最尤推定は「観測の分布にいちばん近い模型を $D(\hat p\,\|\,q_\theta)$ で選ぶ」ことと同じである。Fisher 情報は統計学では $I(\theta)$ と書き、Cramér–Rao の不等式 $\mathrm{Var}(\hat\theta)\ge1/(nI(\theta))$ で習う。この巻では $J(\theta)$ と書き、式 (1.1.8) の2次の係数として読む。