授業で習った形との対応

相対エントロピーから情報と物理を組み立てる　第3部 第7章 §3.7.6　★★ 情報理論の授業の $C=\max I(X;Y)$、量子情報の講義の底2の Holevo 限界、量子力学の「直交しない状態は区別できない」を、この章の式と並べる

情報理論の授業の通信路容量

情報理論の授業では、通信路容量を

$$C=\max_{p(x)}I(X;Y),\qquad I(X;Y)=H(Y)-H(Y\,|\,X)$$

と書き、2元対称通信路で $C=1-h(\varepsilon )$ ビット（$h$ は底2の2値エントロピー）を導く。この章の Holevo 量は同じ形をしている。

授業の $H(Y)-H(Y\,|\,X)$ は「出力の驚き」から「入力を知っても残る雑音の驚き」を引いたもので、Holevo 量は出力の状態のエントロピーから、文字を知っても残る状態のエントロピーを引いたものである。古典の通信路は、状態がすべて同じ基底で対角な（交換する）特別な場合で、そのとき $\chi=I$ になる。

量子情報の講義の Holevo 限界

量子情報の講義では、Holevo 限界を底2の対数で

$$H(X:Y)\ \le\ S(\rho)-\sum_xp_xS(\rho_x)\quad(\text{ビット}),\qquad\rho=\sum_xp_x\rho_x$$

と書き、証明に強劣加法性を使うことが多い。左辺の $H(X:Y)$ はこの巻の $I(X;Y)$、右辺は $\chi$ を $\ln2$ で割ったものである。強劣加法性と量子データ処理不等式は互いに導ける（第3部第3章）ので、この章の証明と講義の証明は同じ道具を別の順で使っている。この章では「測定はチャネルで、チャネルは $D$ を減らす」という形にしたので、古典の第1部第4章のデータ処理不等式とそのまま並ぶ。

量子力学の授業の「区別できない状態」

量子力学の授業では、直交しない2つの状態は1回の測定で確実には区別できない、と習う。Holevo 限界はこれを情報の量で言い直したものである。「区別できない」は「誤り確率が $0$ にならない」という質的な主張だったが、式 (3.7.6) は「区別できなさの分だけ、取り出せる情報が $H(p)$ より減る」という量的な主張になっている。どれだけ減るかの上限が $H(p)-\chi$ で、第3部第2章の凹性の定理の右の不等式 $S(\bar\rho)\le H(p)+\sum_xp_xS(\hat\rho_x)$ がその非負性を保証していた。