授業で習った形との対応

相対エントロピーから情報と物理を組み立てる　第1部 第6章 §1.6.6　★★ 教科書の $C=\max[H(Y)-H(Y|X)]$・$1-h(\varepsilon )$・$1-\varepsilon$・$\log_2|\mathcal Y|-H(\text{行})$ は、どれも条件 (1.6.8) が一様な入力で成り立つ場合

エントロピーの差で書く形

学部の情報理論の授業では、対数の底を $2$ にとり、容量を

$$C=\max_{p(x)}\bigl[H(Y)-H(Y\,|\,X)\bigr]\quad[\text{ビット／回}]\tag{1.6.25}$$

と書くことが多い。この章の式 (1.6.4) で見たとおり、括弧の中は $\sum_xp(x)D(W_x\,\|\,q)$ を $\ln2$ で割ったものに等しい。エントロピーの差で書くと「出力の不確かさから雑音の分を引く」と読めて覚えやすいが、最大化の条件や上界はこの形からは見えにくい。この章の行ごとの $D$ の形にすると、条件 (1.6.8)・上界 (1.6.10)・反復 (1.6.17) がどれも「各行と中心の $D$」の言葉で書ける。

対称な通信路の公式

教科書に出てくる容量の公式の多くは、次の判定で一度に確かめられる。

この判定から、教科書の公式が次のように出る。

教科書の $h(\varepsilon )=-\varepsilon \log_2\varepsilon -(1-\varepsilon )\log_2(1-\varepsilon )$ はビットで測った2値エントロピーで、この巻の $h_{\mathrm b}(\varepsilon )$（nat）を $\ln2$ で割ったものである。BEC は列の和がそろわない（消失 $\mathrm e$ の列の和は $2\varepsilon$）ので対称通信路の公式は使えないが、一様な入力で両行の $D(W_x\,\|\,q)=(1-\varepsilon )\ln2$ がそろうので、命題 1.6.17 の前半から容量は $(1-\varepsilon )\ln2$ nat $=1-\varepsilon$ ビットになる。

授業では通信路符号化定理を「Shannon の第2定理」、情報源符号化定理（相対エントロピーから情報と物理を組み立てる 第1部第5章）を「第1定理」と呼ぶことがある。2つを合わせると、エントロピー $H$ の情報源を容量 $C$ の通信路で送るには、1回の使用あたりの情報源の文字数を $C/H$ 未満にすればよく、圧縮と誤り訂正を別々に設計しても損をしない（情報源・通信路の分離定理）。