驚き：確率の対数

相対エントロピーから情報と物理を組み立てる　第1部 第2章 §1.2.1　★★★ 驚きを確率だけの関数とし、独立な出来事で足し算になることを要求すると、対数の形が1通りに決まる

情報理論は、起こったことがどれだけ意外だったかを数で表すことから始まる。確率 $1/2$ の出来事が起きても誰も驚かないが、確率 $10^{-6}$ の出来事が起きれば驚く。この章では、この「驚き」を確率だけの関数として決め、その平均を Shannon エントロピー $H(X)$ と呼ぶ。定義そのものは1行で済むが、なぜ対数なのか、平均を取った量が何を数えているのかは、定義を眺めるだけでは分からない。この章の後半では、同じ分布から独立に $n$ 個取った長い系列を考えると、ほとんどすべての確率が約 $\mathrm{e}^{nH}$ 個の典型系列に集まり、その1つ1つがほぼ同じ確率 $\mathrm{e}^{-nH}$ を持つことを示す（漸近等分配性、AEP）。$H$ は「長い系列で実際に起こりうる場合の数の対数を $n$ で割ったもの」である。この読み方が、データ圧縮（第1部第5章）・通信路容量（第1部第6章）・統計力学のエントロピー $S= k_{\mathrm B}\ln W(E)$ のすべてに共通する。

この巻の背骨は相対エントロピー $D(p\,\|\,q)$ で、その定義と一般の非負性は次の章（第1部第3章）で扱う。この章で $D$ が現れるのは2つの場所だけである。1つ目は、エントロピーが「一様分布と比べたときの $D$」で書けること（$H(p)=\ln\lvert \mathcal X\rvert -D(p\,\|\,u)$）で、これが $H$ の上限を与える。2つ目は、真の分布 $p$ から出た系列を間違った分布 $q$ で評価したときの平均の驚きが $H(p)+D(p\,\|\,q)$ になることで、$D$ は「分布を取り違えたことによる余分な驚き」として現れる。

対数の底について。この巻では自然対数 $\ln$ を既定にし、エントロピーの単位は nat とする。ビットで述べるときだけ $\log_2$ と書き、単位「ビット」を添える（$1$ ビット $=\ln2$ nat $\approx0.693$ nat）。符号の長さは2進数の桁数で数えるのでビットが自然だが、第2部で $D$ を熱力学の自由エネルギーにつなぐときには $\ln$ が要るので、記号の上では $\ln$ に揃えておく。

驚きに課す条件

離散的な値をとる確率変数 $X$ を考え、とりうる値の集合（アルファベット）を $\mathcal X$、分布を $p(x)=\Pr(X=x)$ と書く。値 $x$ が出たときの驚きを $s(x)$ と書き、次の3つを要求する。

1. (i) 驚きは確率だけで決まる。$s(x)=f\bigl(p(x)\bigr)$ となる関数 $f:(0,1]\to[0,\infty)$ がある。
2. (ii) 起こりにくいほど驚く。$f$ は減少関数である。
3. (iii) 独立な出来事の驚きは足し算になる。$f(ab)=f(a)+f(b)$（$a,b\in(0,1]$）。

(i) は、驚きが出来事の中身（どの面が出たか、何の文字か）でなく確率だけに依存するという約束で、情報理論が意味を扱わない理由もここにある。(iii) は、独立な2つのさいころを振って「1つ目が3、2つ目が5」と知ったときの驚きが、それぞれを別々に知ったときの驚きの和になるという要求である。独立なら同時確率は積 $ab$ になるので、積を和に変える関数が求められている。

定数 $k$ は単位の選び方にあたる。$k=1$ とした

$$s(x)=-\ln p(x)\tag{1.2.1}$$

を値 $x$ の驚き（自己情報量）と呼ぶ。単位は nat で、$k=1/\ln2$ に取れば $-\log_2p(x)$ ビットになる。確率 $1/2$ の出来事の驚きがちょうど $1$ ビットで、これは「表か裏か」を1回知らされたときの驚きにあたる。確率 $1$ の出来事の驚きは $0$、確率が $0$ に近づくと驚きは限りなく大きくなる。

対数の考えは Shannon より前にもあった。Hartley は、$N$ 通りの等しく起こりうる記号から1つを選ぶ通信の情報量を、場合の数の対数（底は単位の選び方）とした（R. V. L. Hartley (1928), Bell System Technical Journal 7, 535–563）。式 (1.2.1) は、等確率でない場合に場合の数の対数 $\ln N$ を $-\ln p(x)$ へ置き換えたものと読める。

条件付きの驚き

驚きの足し算は、独立でない場合にも条件付き確率を通して成り立つ。同時確率は $p(x,y)=p(x)\,p(y\,|\,x)$ と分けられるので、

$$-\ln p(x,y)=-\ln p(x)-\ln p(y\,|\,x)\tag{1.2.2}$$

となる。「$x$ と $y$ を一度に知った驚き」は、「まず $x$ を知った驚き」と「$x$ を知った上で $y$ を知った驚き」の和である。(iii) は、$p(y\,|\,x)=p(y)$ となる独立な場合にあたる。