相対エントロピーから情報と物理を組み立てる 第1部 第3章 §1.3.5 ★★ D D D
相対エントロピーの連鎖律
結合分布どうしの D D D p X Y = p X p Y ∣ X p_{XY}=p_X\,p_{Y|X} p X Y = p X p Y ∣ X q X Y = q X q Y ∣ X q_{XY}=q_X\,q_{Y|X} q X Y = q X q Y ∣ X x x x D D D p X p_X p X
D ( p Y ∣ X ∥ q Y ∣ X ∣ p X ) ≔ ∑ x p X ( x ) D ( p Y ∣ X ( ⋅ ∣ x ) ∥ q Y ∣ X ( ⋅ ∣ x ) ) (1.3.18) D(p_{Y|X}\,\|\,q_{Y|X}\,|\,p_X)\coloneqq\sum_xp_X(x)\,D\bigl(p_{Y|X}(\cdot\,|\,x)\,\big\|\,q_{Y|X}(\cdot\,|\,x)\bigr)\tag{1.3.18} D ( p Y ∣ X ∥ q Y ∣ X ∣ p X ) : = x ∑ p X ( x ) D ( p Y ∣ X ( ⋅ ∣ x ) q Y ∣ X ( ⋅ ∣ x ) ) ( 1.3.18 )
と書く（条件付き相対エントロピー ）。
定理 1.3.7（相対エントロピーの連鎖律 ★★★）
D ( p X Y ∥ q X Y ) = D ( p X ∥ q X ) + D ( p Y ∣ X ∥ q Y ∣ X ∣ p X ) . (1.3.19) D(p_{XY}\,\|\,q_{XY})=D(p_X\,\|\,q_X)+D(p_{Y|X}\,\|\,q_{Y|X}\,|\,p_X) .\tag{1.3.19} D ( p X Y ∥ q X Y ) = D ( p X ∥ q X ) + D ( p Y ∣ X ∥ q Y ∣ X ∣ p X ) . ( 1.3.19 )
証明 ln p X Y ( x , y ) q X Y ( x , y ) = ln p X ( x ) q X ( x ) + ln p Y ∣ X ( y ∣ x ) q Y ∣ X ( y ∣ x ) \ln\dfrac{p_{XY}(x,y)}{q_{XY}(x,y)}=\ln\dfrac{p_X(x)}{q_X(x)}+\ln\dfrac{p_{Y|X}(y\,|\,x)}{q_{Y|X}(y\,|\,x)} ln q X Y ( x , y ) p X Y ( x , y ) = ln q X ( x ) p X ( x ) + ln q Y ∣ X ( y ∣ x ) p Y ∣ X ( y ∣ x ) p X Y p_{XY} p X Y y y y y y y D ( p X ∥ q X ) D(p_X\,\|\,q_X) D ( p X ∥ q X ) x x x p Y ∣ X ( ⋅ ∣ x ) p_{Y|X}(\cdot\,|\,x) p Y ∣ X ( ⋅ ∣ x ) p X p_X p X (1.3.18) になる。
この式から、2つのことがすぐに分かる。
1つ目は、周辺分布に移ると D D D こと、すなわち D ( p X ∥ q X ) ≤ D ( p X Y ∥ q X Y ) D(p_X\,\|\,q_X)\le D(p_{XY}\,\|\,q_{XY}) D ( p X ∥ q X ) ≤ D ( p X Y ∥ q X Y ) 0 0 0 Y Y Y X X X D D D W W W D ( W p ∥ W q ) ≤ D ( p ∥ q ) D(Wp\,\|\,Wq)\le D(p\,\|\,q) D ( W p ∥ W q ) ≤ D ( p ∥ q ) 第1部第4章 で示す。この巻の筋である「第二法則はデータ処理不等式の1つの姿」は、この1行から始まる。
2つ目は、独立な試行で D D D ことである。p X Y = p X p Y p_{XY}=p_Xp_Y p X Y = p X p Y q X Y = q X q Y q_{XY}=q_Xq_Y q X Y = q X q Y x x x D ( p X p Y ∥ q X q Y ) = D ( p X ∥ q X ) + D ( p Y ∥ q Y ) D(p_Xp_Y\,\|\,q_Xq_Y)=D(p_X\,\|\,q_X)+D(p_Y\,\|\,q_Y) D ( p X p Y ∥ q X q Y ) = D ( p X ∥ q X ) + D ( p Y ∥ q Y ) n n n p ⊗ n p^{\otimes n} p ⊗ n
D ( p ⊗ n ∥ q ⊗ n ) = n D ( p ∥ q ) (1.3.20) D(p^{\otimes n}\,\|\,q^{\otimes n})=n\,D(p\,\|\,q)\tag{1.3.20} D ( p ⊗ n ∥ q ⊗ n ) = n D ( p ∥ q ) ( 1.3.20 )
である。1.3.1 節で述べた「対数尤度比が n D nD n D
凸性
定理 1.3.8（D D D
分布の2つの組 ( p 1 , q 1 ) (p_1,q_1) ( p 1 , q 1 ) ( p 2 , q 2 ) (p_2,q_2) ( p 2 , q 2 ) 0 ≤ λ ≤ 1 0\le\lambda\le1 0 ≤ λ ≤ 1
D ( λ p 1 + ( 1 − λ ) p 2 ∥ λ q 1 + ( 1 − λ ) q 2 ) ≤ λ D ( p 1 ∥ q 1 ) + ( 1 − λ ) D ( p 2 ∥ q 2 ) . (1.3.21) D\bigl(\lambda p_1+(1-\lambda)p_2\,\big\|\,\lambda q_1+(1-\lambda)q_2\bigr)\le\lambda D(p_1\,\|\,q_1)+(1-\lambda)D(p_2\,\|\,q_2) .\tag{1.3.21} D ( λ p 1 + ( 1 − λ ) p 2 λ q 1 + ( 1 − λ ) q 2 ) ≤ λ D ( p 1 ∥ q 1 ) + ( 1 − λ ) D ( p 2 ∥ q 2 ) . ( 1.3.21 )
証明 各 x x x (1.3.7) を n = 2 n=2 n = 2 a 1 = λ p 1 ( x ) a_1=\lambda p_1(x) a 1 = λ p 1 ( x ) a 2 = ( 1 − λ ) p 2 ( x ) a_2=(1-\lambda)p_2(x) a 2 = ( 1 − λ ) p 2 ( x ) b 1 = λ q 1 ( x ) b_1=\lambda q_1(x) b 1 = λ q 1 ( x ) b 2 = ( 1 − λ ) q 2 ( x ) b_2=(1-\lambda)q_2(x) b 2 = ( 1 − λ ) q 2 ( x )
( λ p 1 ( x ) + ( 1 − λ ) p 2 ( x ) ) ln λ p 1 ( x ) + ( 1 − λ ) p 2 ( x ) λ q 1 ( x ) + ( 1 − λ ) q 2 ( x ) ≤ λ p 1 ( x ) ln p 1 ( x ) q 1 ( x ) + ( 1 − λ ) p 2 ( x ) ln p 2 ( x ) q 2 ( x ) \bigl(\lambda p_1(x)+(1-\lambda)p_2(x)\bigr)\ln\frac{\lambda p_1(x)+(1-\lambda)p_2(x)}{\lambda q_1(x)+(1-\lambda)q_2(x)}\le\lambda p_1(x)\ln\frac{p_1(x)}{q_1(x)}+(1-\lambda)p_2(x)\ln\frac{p_2(x)}{q_2(x)} ( λ p 1 ( x ) + ( 1 − λ ) p 2 ( x ) ) ln λ q 1 ( x ) + ( 1 − λ ) q 2 ( x ) λ p 1 ( x ) + ( 1 − λ ) p 2 ( x ) ≤ λ p 1 ( x ) ln q 1 ( x ) p 1 ( x ) + ( 1 − λ ) p 2 ( x ) ln q 2 ( x ) p 2 ( x )
となる（右辺では λ \lambda λ 1 − λ 1-\lambda 1 − λ x x x (1.3.21) である。
2つの分布の組を混ぜると、見分けにくくなる。式 (1.3.9) で q = u q=u q = u D ( p ∥ u ) D(p\,\|\,u) D ( p ∥ u ) p p p H ( p ) = ln ∣ X ∣ − D ( p ∥ u ) H(p)=\ln\lvert \mathcal X\rvert -D(p\,\|\,u) H ( p ) = ln ∣ X ∣ − D ( p ∥ u ) p p p 凹 である。分布を混ぜるとエントロピーは平均より大きくなる。
相互情報量については、入力の分布 p X p_X p X W ( y ∣ x ) ≔ p Y ∣ X ( y ∣ x ) W(y\,|\,x)\coloneqq p_{Y|X}(y\,|\,x) W ( y ∣ x ) : = p Y ∣ X ( y ∣ x )
命題 1.3.9（相互情報量の凹凸 ★★）
(i) 通信路 W W W I ( X ; Y ) I(X;Y) I ( X ; Y ) p X p_X p X p X p_X p X I ( X ; Y ) I(X;Y) I ( X ; Y ) W W W
証明 (i) I ( X ; Y ) = H ( Y ) − ∑ x p X ( x ) H ( Y ∣ X = x ) I(X;Y)=H(Y)-\sum_xp_X(x)H(Y\,|\,X=x) I ( X ; Y ) = H ( Y ) − ∑ x p X ( x ) H ( Y ∣ X = x ) H ( Y ∣ X = x ) H(Y\,|\,X=x) H ( Y ∣ X = x ) W ( ⋅ ∣ x ) W(\cdot\,|\,x) W ( ⋅ ∣ x ) p X p_X p X p Y ( y ) = ∑ x p X ( x ) W ( y ∣ x ) p_Y(y)=\sum_xp_X(x)W(y\,|\,x) p Y ( y ) = ∑ x p X ( x ) W ( y ∣ x ) p X p_X p X H H H p X p_X p X
(ii) I ( X ; Y ) = D ( p X Y ∥ p X p Y ) I(X;Y)=D(p_{XY}\,\|\,p_Xp_Y) I ( X ; Y ) = D ( p X Y ∥ p X p Y ) p X p_X p X p X Y ( x , y ) = p X ( x ) W ( y ∣ x ) p_{XY}(x,y)=p_X(x)W(y\,|\,x) p X Y ( x , y ) = p X ( x ) W ( y ∣ x ) p X ( x ) p Y ( y ) = p X ( x ) ∑ x ′ p X ( x ′ ) W ( y ∣ x ′ ) p_X(x)p_Y(y)=p_X(x)\sum_{x'}p_X(x')W(y\,|\,x') p X ( x ) p Y ( y ) = p X ( x ) ∑ x ′ p X ( x ′ ) W ( y ∣ x ′ ) W W W λ : 1 − λ \lambda:1-\lambda λ : 1 − λ D D D (1.3.21) から I I I W W W
(i) は通信路容量 C = max p I ( X ; Y ) C=\max_{p}I(X;Y) C = max p I ( X ; Y ) 第1部第6章 で扱う。
例題 1.3.5 入力の偏りと相互情報量 ★★
オリジナル 例題 1.3.4 の2値対称通信路（反転の確率 ε \varepsilon ε X = 1 X=1 X = 1 a a a X = 0 X=0 X = 0 1 − a 1-a 1 − a
(1) p Y ( 1 ) = a ∗ ε ≔ a ( 1 − ε ) + ( 1 − a ) ε p_Y(1)=a\ast\varepsilon \coloneqq a(1-\varepsilon )+(1-a)\varepsilon p Y ( 1 ) = a ∗ ε : = a ( 1 − ε ) + ( 1 − a ) ε I ( X ; Y ) = h b ( a ∗ ε ) − h b ( ε ) I(X;Y)=h_{\mathrm b}(a\ast\varepsilon )-h_{\mathrm b}(\varepsilon ) I ( X ; Y ) = h b ( a ∗ ε ) − h b ( ε ) (2) I I I a a a a a a a a a (3) ε = 0.1 \varepsilon =0.1 ε = 0.1 a = 0.2 a=0.2 a = 0.2 I I I
解答 (1) p Y ( 1 ) = a ( 1 − ε ) + ( 1 − a ) ε = a ∗ ε p_Y(1)=a(1-\varepsilon )+(1-a)\varepsilon =a\ast\varepsilon p Y ( 1 ) = a ( 1 − ε ) + ( 1 − a ) ε = a ∗ ε H ( Y ) = h b ( a ∗ ε ) H(Y)=h_{\mathrm b}(a\ast\varepsilon ) H ( Y ) = h b ( a ∗ ε ) H ( Y ∣ X ) = h b ( ε ) H(Y\,|\,X)=h_{\mathrm b}(\varepsilon ) H ( Y ∣ X ) = h b ( ε ) 1.3.4 と同じで、a a a I = h b ( a ∗ ε ) − h b ( ε ) I=h_{\mathrm b}(a\ast\varepsilon )-h_{\mathrm b}(\varepsilon ) I = h b ( a ∗ ε ) − h b ( ε )
(2) h b ′ ( t ) = ln 1 − t t h_{\mathrm b}'(t)=\ln\frac{1-t}{t} h b ′ ( t ) = ln t 1 − t h b ′ ′ ( t ) = − 1 t ( 1 − t ) h_{\mathrm b}''(t)=-\frac{1}{t(1-t)} h b ′′ ( t ) = − t ( 1 − t ) 1 d d a ( a ∗ ε ) = 1 − 2 ε \frac{\mathrm{d}}{\mathrm{d} a}(a\ast\varepsilon )=1-2\varepsilon d a d ( a ∗ ε ) = 1 − 2 ε
d 2 I d a 2 = ( 1 − 2 ε ) 2 h b ′ ′ ( a ∗ ε ) = − ( 1 − 2 ε ) 2 ( a ∗ ε ) ( 1 − a ∗ ε ) < 0. \frac{\mathrm{d}^2I}{\mathrm{d} a^2}=(1-2\varepsilon )^2h_{\mathrm b}''(a\ast\varepsilon )=-\frac{(1-2\varepsilon )^2}{(a\ast\varepsilon )(1-a\ast\varepsilon )}<0 . d a 2 d 2 I = ( 1 − 2 ε ) 2 h b ′′ ( a ∗ ε ) = − ( a ∗ ε ) ( 1 − a ∗ ε ) ( 1 − 2 ε ) 2 < 0.
したがって I I I a a a 1.3.9 (i) と合う。1回微分は ( 1 − 2 ε ) ln 1 − a ∗ ε a ∗ ε (1-2\varepsilon )\ln\frac{1-a\ast\varepsilon }{a\ast\varepsilon } ( 1 − 2 ε ) ln a ∗ ε 1 − a ∗ ε a ∗ ε = 1 / 2 a\ast\varepsilon =1/2 a ∗ ε = 1/2 a = 1 / 2 a=1/2 a = 1/2 0 0 0 ln 2 − h b ( ε ) \ln2-h_{\mathrm b}(\varepsilon ) ln 2 − h b ( ε )
(3) a ∗ ε = 0.2 ⋅ 0.9 + 0.8 ⋅ 0.1 = 0.26 a\ast\varepsilon =0.2\cdot0.9+0.8\cdot0.1=0.26 a ∗ ε = 0.2 ⋅ 0.9 + 0.8 ⋅ 0.1 = 0.26 I = h b ( 0.26 ) − h b ( 0.1 ) ≈ 0.5731 − 0.3251 = 0.2480 I=h_{\mathrm b}(0.26)-h_{\mathrm b}(0.1)\approx0.5731-0.3251=0.2480 I = h b ( 0.26 ) − h b ( 0.1 ) ≈ 0.5731 − 0.3251 = 0.2480 ln 2 − h b ( 0.1 ) ≈ 0.3681 \ln2-h_{\mathrm b}(0.1)\approx0.3681 ln 2 − h b ( 0.1 ) ≈ 0.3681 Y Y Y H ( Y ) H(Y) H ( Y )
AI（Claude）が書いた教材を、木下が勉強しながら公開しています。式と数値は検算していますが、誤りが残っているかもしれません。誤りのご指摘・削除のご依頼をいただければ直します。 連絡先：support@tecktom.com
