比べる2つの分布：相対エントロピー

相対エントロピーから情報と物理を組み立てる　第1部 第1章 §1.1.1　★★★ 巻を通す量 $D(p\,\|\,q)$ を定義し、「$p$ が正しいとき、$q$ と見分ける手がかりが1回の観測あたりどれだけあるか」と読む

情報理論は Shannon エントロピーから、統計学は尤度から、統計力学は分配関数から、熱力学は第二法則から、それぞれ別の出発点で始まる。この巻では、これらを1つの量の別々の使い方として読み直す。その量は2つの確率分布 $p$, $q$ の相対エントロピー

$$D(p\,\|\,q)=\sum_xp(x)\ln\frac{p(x)}{q(x)}$$

である。分野ごとに違うのは、どの2つの分布を比べるかであり、使う性質は「$D$ は負にならない」と「同じ確率的な処理を両方に施すと $D$ は増えない」の2つでほぼ尽きる。相対エントロピーは Kullback–Leibler ダイバージェンス（KL ダイバージェンス）とも呼ぶ。

この章は巻全体の構成を示す。1.1.1節で $D$ を定義し、何を測る量なのかを硬貨の例で確かめる。1.1.2節では、巻を通して使う2つの性質、非負性とデータ処理不等式を証明する。どちらも証明は数行で済む。1.1.3節と1.1.4節では、比べる分布を選ぶと何が出てくるかを2つの方向で示す。1.1.3節は情報理論と統計学の方向で、Shannon エントロピー・相互情報量・Fisher 情報がどれも $D$ の特別な場合になることを確かめる。1.1.4節は統計力学と熱力学の方向で、自由エネルギーの余りが $k_{\mathrm B} T\,D$ に等しいこと、熱浴と接した系の緩和で $D$ が減ることが第二法則の1つの姿であることを示す。1.1.5節では巻の7部46章の並びと記号の約束を述べ、1.1.6節で授業や資格の勉強で習った形との対応を並べ、1.1.7節でまとめる。細かい導出は第1部の後の章で行うので、この章では結果を先に借りる所がある。借りた所には、どの章で示すかを書き添える。

定義

有限個の値をとる確率変数 $X$ を考え、その値の集合を $\mathcal X$ とする。$\mathcal X$ の上の2つの確率分布 $p$, $q$ について、

$$D(p\,\|\,q)=\sum_{x\in\mathcal X}p(x)\ln\frac{p(x)}{q(x)}\tag{1.1.1}$$

を $p$ の $q$ に対する相対エントロピーと呼ぶ¹1S. Kullback and R. A. Leibler (1951), Ann. Math. Statist. 22, 79–86。下の脚注へ閉じる。和は $p(x)>0$ の $x$ についてだけとる（$0\ln0=0$ と約束する）。$p(x)>0$ なのに $q(x)=0$ となる $x$ があれば $D(p\,\|\,q)=+\infty$ とする。対数は自然対数で、単位は nat である。ビットで述べたいときは $\ln 2$ で割る（1 ビット $=\ln2$ nat）。

式 (1.1.1) は、対数尤度比 $\ln\bigl(p(X)/q(X)\bigr)$ を $X\sim p$ で平均したもの

$$D(p\,\|\,q)=\langle \ln\frac{p(X)}{q(X)} \rangle _p\tag{1.1.2}$$

と読むことができる。$X$ を1回観測したとき、その値が分布 $p$ から出たとする仮説と $q$ から出たとする仮説のどちらをどれだけ支持するかは、尤度の比 $p(x)/q(x)$ で測る。対数をとっておくと、独立な $n$ 回の観測の対数尤度比は1回ごとの和になる。したがって、本当の分布が $p$ のとき、$n$ 回の観測で積み上がる対数尤度比の平均は $nD(p\,\|\,q)$ である。$D(p\,\|\,q)$ は「$p$ が正しいとき、$q$ と見分ける手がかりが観測1回あたり平均でどれだけ得られるか」を表す量である。

非対称であること

式 (1.1.1) は $p$ と $q$ について対称でなく、一般に $D(p\,\|\,q)\neq D(q\,\|\,p)$ である。平均をとる分布が左の引数なので、「本当はどちらなのか」という前提が入れ替わると値が変わる。図 1.1.1 は、表の出る確率が $x$ の硬貨 $\mathrm{Bern}(x)$ と公平な硬貨 $\mathrm{Bern}(1/2)$ について、2つの向きの $D$ を比べたものである。公平な硬貨が本当のときは、$x$ が $0$ や $1$ に近い硬貨とは、一方の面が出た瞬間にほぼ見分けがつくので $D$ が大きくなり、$x\to0$ で発散する。逆に、偏った硬貨が本当のときは、ほとんど同じ面ばかり出て、公平な硬貨でも同じ面が続くことはあるので、見分ける手がかりは1回あたり $\ln 2$ を超えない。

図 1.1.1　相対エントロピーの2つの向き。青（丸）は偏った硬貨が本当のときに公平な硬貨と見分ける手がかりで、$\ln2-h_{\mathrm b}(x)$ に等しく $\ln2$ を超えない。赤（四角）は公平な硬貨が本当のときに偏った硬貨と見分ける手がかりで、$\frac12\ln\frac{1}{4x(1-x)}$ に等しく $x\to0,1$ で発散する。どちらも厳密な値で、点は verify_ch1-01.py で計算した。

この非対称性のため、$D$ は距離の公理（対称性と三角不等式）を満たさない。それでも「2つの分布の違いを測る量」として巻の全部の章で使うのは、次の節で示す2つの性質から、物理と情報の法則の多くがそのまま導かれるからである。