授業で習った形との対応

相対エントロピーから情報と物理を組み立てる　第3部 第3章 §3.3.6　★★ 古典のデータ処理不等式・Shannon エントロピーの強劣加法性・マスター方程式の H 定理は、すべて状態が交換する場合の特別な場合

情報理論の授業：データ処理不等式と Markov 連鎖

情報理論の授業では、データ処理不等式を「$X\to Y\to Z$ が Markov 連鎖なら $I(X;Z)\le I(X;Y)$」と習う。第1部第4章で示したように、これは確率行列 $W$ についての$D(Wp\,\|\,Wq)\le D(p\,\|\,q)$ を、$p=p_{XY}$、$q=p_Xp_Y$ に当てたものだった。量子の定理 3.3.2 は、すべての状態を同じ基底で対角に取り、チャネルを $\hat K_{yx}=\sqrt{W(y|x)}| y \rangle \langle x |$ に限ると、この古典の不等式に戻る。対角の状態 $\mathrm{diag}(p)$ は $\mathrm{diag}(Wp)$ に写り、対角どうしの $D$ は古典の $D$ だからである。

Shannon エントロピーの強劣加法性

$$H(X,Y)+H(Y,Z)\ge H(X,Y,Z)+H(Y)\iff I(X;Z\,|\,Y)\ge0\tag{3.3.18}$$

は、授業では「条件付き相互情報量は非負」として1行で示す。$I(X;Z\,|\,Y)=\sum_yp(y)\,D(p_{XZ|y}\,\|\,p_{X|y}p_{Z|y})$ と $Y$ の値ごとの $D$ の平均に書けるからである。等号は各 $y$ で $X$ と $Z$ が独立なとき、すなわち $X\to Y\to Z$ が Markov 連鎖のときに限る。式 (3.3.16) の量子 Markov 連鎖は、この古典の条件を、値を持たない $B$ に移したものである。量子では「値ごとに分ける」ことができないので、Lieb の凹性定理という別の道具が要った。

統計力学の授業：エントロピー密度と H 定理

並進対称な1次元の系（スピン鎖や定常な確率過程）で、連続する $n$ 個の部分のエントロピーを $S(n)$ と書く。強劣加法性を、$A$＝左端の1個、$B$＝真ん中の $n-1$ 個、$C$＝右端の1個に当てると $S(n)+S(n)\ge S(n+1)+S(n-1)$、すなわち

$$S(n+1)-S(n)\le S(n)-S(n-1)\tag{3.3.19}$$

を得る。1個増やしたときのエントロピーの増分は単調に減るので、$S(n)$ は $n$ について凹で、$S(n)/n$ は $n\to\infty$ で極限（エントロピー密度）を持つ。統計力学の授業で「エントロピーは示量的」と言うときの $\lim S/N$ の存在は、この不等式を根拠にしている。

統計力学の授業では、マスター方程式 $\frac{\mathrm{d} p_i}{\mathrm{d} t}=\sum_j(w_{ij}p_j-w_{ji}p_i)$ について「$H=\sum_ip_i\ln(p_i/\pi_i)$ が減る」と習う（Boltzmann の H 定理の離散版）。これは 3.3.4節の量子 H 定理 (3.3.13) で、状態とチャネルを対角に限ったものである。量子の場合はこれに、対角でないコヒーレンスの減衰が加わる。