1本の表：符号化定理から一般化第二法則まで

2026年10月15日17分で読めますAI生成教科書『虎の巻』第7部第8章終章：相対エントロピー1本で何が言えたか

表の読み方
性質の欄に何が並んだか
木下の層

AI 生成・木下が未勉強

相対エントロピーから情報と物理を組み立てる　第7部第8章 §7.8.1　★★★ 46章の「比べた2つ」はすべて違うが、当てた性質の欄には非負性・単調性・2次の展開・指数の4つがほとんどを占める

この巻は、情報理論・統計学・統計力学・量子情報・情報熱力学・多体系・量子計算・ブラックホールを、どれも「どの2つの分布（状態）の相対エントロピー $D$ を測っているか」として読んできた。第1部第1章では、 $D(p\,\|\,q)\ge0$ （非負性）と、同じ確率行列を2つの分布に当てると $D$ が増えないこと（データ処理不等式）の2つを証明し、そこから Shannon エントロピー・相互情報量・Fisher 情報・等温の第二法則が出ることを小さな計算で示した。その章の終わりで、巻を通す主張として「第二法則はデータ処理不等式の1つの姿である」を掲げた。この終章では、その主張がどこまで成り立ったかを、巻の全章を並べて確かめる。

章の構成は次のとおりである。7.8.1節で46章を1本の表にし、当てた性質の欄に何種類の性質しか現れないかを数える。7.8.2節では、Markov 連鎖の H 定理・熱浴と接した系の第二法則・量子チャネルの H 定理・ブラックホールの一般化第二法則の4つを、1つの定理の特別な場合として並べる。7.8.3節では、 $D$ の値が確率の指数・仕事・推定の精度の3通りに読めることを、光ピンセットの粒子1個で確かめる。7.8.4節では、 $D$ だけでは言えなかったことを整理する。7.8.5節では巻の近似の裏付けの札70枚を数え、証明が残っている場所を特定する。7.8.6節で授業で習った形と並べ、7.8.7節の総合問題では、1ビットの情報を通信路から記憶の消去を経てブラックホールまでたどる。

この章の対数は自然対数（nat）で、ビットに直す所だけ「ビット」と書く。熱力学のエントロピーは $k_{\mathrm B}$ 込み、 $D$ ・ $H$ ・ $S(\hat\rho)$ は無次元である。Planck 長の2乗を $\ell_{\mathrm P}^2=G\hbar/c^3$ と書き（第7部第1章の冒頭の定義）、ブラックホールのエントロピーは $S_{\mathrm{BH}}= k_{\mathrm B} c^3A/(4G\hbar)= k_{\mathrm B} A/(4\ell_{\mathrm P}^2)$ （ $A$ は地平面の面積）とする。第7部の結果は各章の式を引き、細部はそれぞれの章に譲る。

表の読み方

表 7.8.1 は、巻の各章を1行にしたものである。左から、章（「3-02」は第3部第2章）、比べた2つの分布（状態）、当てた $D$ の性質、出てきたもの、の順に並べた。性質の欄には、次の7つの語だけを使った。非負性は $D\ge0$ （等号は2つが等しいときだけ）、単調性は同じチャネル（確率行列・量子チャネル・部分トレース）を2つに当てると $D$ が増えないこと（データ処理不等式）、2次の展開は少しずらした2つの分布の $D$ が $\frac12J\delta^2$ になること、指数は $n$ 回のくり返しで確率が $\mathrm{e}^{-nD}$ で減ること、等号条件は単調性の等号が成り立つ条件（十分統計量・回復写像）、連鎖律は $D$ を周辺と条件付きに分ける等式（Pythagoras の分解を含む）である。 $D$ を使わず数え上げだけで済んだ章には数え上げと書いた。

表 7.8.1　巻の46章を1本にした表。章の欄の「3-02」は第3部第2章。

章	比べた2つの分布（状態）	当てた性質	出てきたもの
第1部古典の情報理論
1-01	任意の $p$ と $q$ （硬貨・通信路・2準位系）	非負性・単調性	$H$ ・ $I$ ・ $J$ ・最尤推定・等温の第二法則が $D$ の特別な場合
1-02	$p$ と一様分布、 $p$ と取り違えた $q$	非負性・指数	$H=\ln\lvert \mathcal X\rvert -D(p\,\\|\,u)$ ・AEP・典型集合の大きさ $\mathrm{e}^{nH}$
1-03	結合分布 $p_{XY}$ と積 $p_Xp_Y$	非負性・連鎖律	相互情報量・劣加法性・凸性
1-04	同じ $W$ を通した2つの分布	単調性・等号条件	$I(X;Z)\le I(X;Y)$ ・十分統計量・Markov 連鎖の H 定理
1-05	$p$ と符号長の分布 $q_C$	非負性	平均符号長 $\ge H/\ln2$ ビット・取り違えの代価 $D/\ln2$ ビット
1-06	通信路の入出力の $p_{XY}$ と $p_Xp_Y$	単調性・指数	$C=\max I=\min_r\max_xD(W_x\,\\|\,r)$ ・通信路符号化定理
1-07	$p_\theta$ と $p_{\theta+\delta}$	2次の展開	Fisher 情報・Cramér–Rao の不等式
1-08	経験分布と真の分布	指数・単調性	Sanov の定理・Stein の補題（指数は $D$ ）
第2部統計力学を情報で読む
2-01	拘束を満たす $p$ と参照の $q$	非負性・連鎖律	最大エントロピー原理・カノニカル分布
2-02	任意の $p$ と Gibbs 分布	非負性	$F[p]-F_{\mathrm{eq}}= k_{\mathrm B} TD$ ・取り出せる仕事・平均場近似
2-03	部分系の状態とミクロカノニカルの部分系	単調性・数え上げ	正準典型性・平衡化
2-04	細かい密度と粗視化した密度	単調性・連鎖律	粗視化の第二法則・ $\Sigma=I(S;B)+D$
2-05	仕切りを外す前と後	単調性	混合のエントロピー $k_{\mathrm B} D$ ・Gibbs のパラドックス
第3部量子情報理論
3-01	2つの密度行列（トレース距離）	単調性	Helstrom の $(1+T)/2$ ・量子チャネルの3つの表示
3-02	$\hat\rho$ と $\hat\sigma$	非負性	Klein の不等式・ $S$ の上限・量子の Gibbs の変分原理
3-03	チャネルを通す前の組と後の組	単調性・等号条件	強劣加法性・Petz の回復写像
3-04	$\hat\rho_{AB}$ と分離可能な状態の集合	単調性	$E_{\mathrm R}$ の LOCC 単調性・蒸留
3-05	箱と局所的な模型の集合	単調性・指数	CHSH の $2$ ・Tsirelson の $2\sqrt2$ ・棄却に要る試行の数
3-06	$\hat\rho_{AB}$ と $\hat\pi_A\otimes\hat\rho_B$	単調性	超高密度符号・テレポーテーションに要る古典ビット2個
3-07	cq 状態と積	単調性	Holevo 限界 $I\le\chi$ ・HSW 定理
3-08	2つの量子状態（測定で古典の分布へ）	単調性・指数・2次の展開	量子 Stein の補題・量子 Fisher 情報・Heisenberg 限界
3-09	雑音を通した2つの符号状態	等号条件	Knill–Laflamme 条件・ $I(R;E)=0$
3-10	鍵と理想の鍵	単調性	Devetak–Winter の鍵率・BB84 の 11.0%
第4部情報熱力学
4-01	今の分布と瞬間の平衡分布	単調性	Sekimoto の熱と仕事・有限時間の代価
4-02	前向きの経路と逆回しの経路	非負性	Crooks の関係・Jarzynski 等式
4-03	経路の確率 $P$ と $\tilde P$	非負性・単調性	第二法則 $\langle \Sigma \rangle =D\ge0$ ・粗く見た下限
4-04	事後分布と測定前の分布	非負性	沙川–上田の等式・取り出せる仕事 $k_{\mathrm B} TI$
4-05	記憶と熱浴の前と後	非負性	Landauer 原理の一般形
4-06	定常の経路の分布と流れを強めた分布	2次の展開	熱力学的不確定性関係・速度限界
4-07	消去の前後の記憶、測定直後の結合分布と積	非負性・連鎖律	消去とフィードバックの実験の下限と上限
4-08	$\hat\rho$ と熱状態 $\hat\rho_\beta$	単調性	量子 Landauer 原理・Otto 機関・資源理論
第5部多体系の情報
5-01	多体の状態と周辺の積	非負性	熱状態の面積則 $I\le2\beta\lVert \hat H_\partial\rVert$
5-02	縮退した基底状態どうし（小領域に制限）	単調性・等号条件	位相秩序は距離の大きな符号・ $\gamma=\ln2$
第6部量子計算
6-01	回路の数と見分けたいユニタリの数	数え上げ	ほとんどのユニタリは指数個のゲートを要する
6-02	位相の違う状態 $\| \psi_\phi \rangle$	2次の展開	$J_{\mathrm Q}\propto T^2$ （Heisenberg 限界）
6-03	位数と測定結果の結合分布と積	非負性	逆 QFT の後の $I(S;M)\approx\ln r$
6-04	当たりの印つきのオラクルと空のオラクルの状態	単調性	探索の下界 $\sqrt N$
6-05	復号後の論理量子ビットと環境	単調性	しきい値は $I(R;E)$ の相転移
第7部ブラックホールの情報問題
7-01	地平面の外に制限した場の状態と真空	非負性・単調性	$D=\Delta K-\Delta S$ ・Bekenstein 上限・一般化第二法則
7-02	外の放射と温度 $T_{\mathrm H}$ の Gibbs 状態（熱場二重状態の片側）	非負性・単調性	外は熱的に見える（ $D=0$ ）・情報喪失のパラドックス
7-03	放射の状態と最大に混ざった状態	非負性・連鎖律	Page の定理・Page 曲線・Page 時間 $0.568\,t_{\mathrm{ev}}$
7-04	参照系と残りのブラックホールの結合と積	単調性・等号条件	デカップリング・取り戻しの立ち上がり・スクランブリング時間
7-05	遅いモードと早い放射・内側の相手の結合と積	単調性	一夫一婦制（弱単調性から）・ファイアウォールの議論
7-06	境界の2つの状態と内部の2つの状態	単調性・等号条件	JLMS・エンタングルメント・ウェッジの再構成・RT 公式
7-07	違う日記を落とした2つの放射の状態	単調性	島の公式と Page 曲線（量子極値曲面の規則は重力の経路積分の鞍点から）
7-08	46章の全部	数え上げ	この表

性質の欄に何が並んだか

表の46行のうち、性質の欄に単調性を含む行は27、非負性を含む行は17、等号条件を含む行は6である。指数と連鎖律はそれぞれ5行、2次の展開は4行に現れる。比べた2つの分布の欄は46行とも違うのに、当てた性質は6種類で足り、そのうち単調性と非負性の2つで延べ44行を占める。この巻の主張を1行で書くと、物理と情報のさまざまな限界は「適切な2つを選んで $D\ge0$ か $D$ の単調性を当てる」ことで出る、となる。

非負性と単調性は独立な性質ではない。単調性で、チャネルとして「全部を1点へ送る写像」を選ぶと、出力の2つの分布はどちらも同じ1点の分布になり $D=0$ なので、 $0\le D(p\,\|\,q)$ が出る。つまり非負性は単調性の特別な場合である。逆に、第1部第4章で示したように、単調性は連鎖律と非負性から出る。したがって表の性質の欄の大部分は、ただ1つの不等式 $D(Wp\,\|\,Wq)\le D(p\,\|\,q)$ （量子では $D(\mathcal N(\hat\rho)\,\|\,\mathcal N(\hat\sigma))\le D(\hat\rho\,\|\,\hat\sigma)$ ）の言い換えになっている。2次の展開と指数は、この不等式とは別の性質で、それぞれ $D$ の局所的な形（曲がり）と $D$ が大偏差の確率の指数になることを使う。等号条件は単調性の等号を調べたもので、誤り訂正（第3部第9章）・Hayden–Preskill のデカップリング（第7部第4章）・ホログラフィー（第7部第6章）は、どれも等号が成り立つ場合を利用する。

性質の欄に数え上げを含む行は3つで、量子計算の回路の数え上げ（6-01）とこの章（7-08）、単調性と併用した典型性（2-03）である。島の公式（7-07）の行は単調性で、一般化エントロピーを $D$ の単調性から作り（第7部第1章の定理 7.1.1）、JLMS で読み出しを判定した。ただし量子極値曲面の規則そのもの（Page 曲線が実際に折り返すこと）は重力の経路積分の鞍点から借りた（7.8.4節）。

例題 7.8.1　1つの $D$ を4通りに読む ★★★

オリジナル表の出る確率が $3/4$ の硬貨の分布 $p=(3/4,1/4)$ と、公平な硬貨の分布 $q=(1/2,1/2)$ を比べる。

(1) $D(p\,\|\,q)$ を nat とビットで求めよ。
(2) 出目を、 $q$ に合わせた1ビットの固定長の符号で記録すると、 $p$ に合わせた最良の符号に比べて1回あたり何ビット損するか（第1部第5章）。
(3) 「硬貨は公平である」を誤って棄却する確率を固定したまま、「硬貨は $p$ である」を誤って受け入れる確率を $10^{-6}$ まで下げるには、何回投げればよいか。Stein の補題（第1部第8章）の主要項で答えよ。
(4) 2つの状態の縮退した記憶（Szilard エンジンの箱）の分布が $p$ のとき、300 K の熱浴で取り出せる仕事の上限 $k_{\mathrm B} TD(p\,\|\,q)$ を求めよ（第2部第2章。 $q$ が平衡分布）。
(5) 公平な硬貨を100回投げてちょうど75回表が出る確率を厳密に求め、 $\mathrm{e}^{-100D}$ と比べよ。

解答

(1) $D=\frac34\ln\frac{3/4}{1/2}+\frac14\ln\frac{1/4}{1/2}=\ln2-h_{\mathrm b}(3/4)$ である。 $h_{\mathrm b}(3/4)=-\frac34\ln\frac34-\frac14\ln\frac14=0.5623$ なので、 $D=0.6931-0.5623=0.1308$ nat、ビットでは $0.1308/\ln2=0.1887$ ビット。

(2) $q$ に合わせた符号は1回1ビット、 $p$ に合わせた最良の符号は（長い列をまとめて符号化すれば）1回 $H(p)/\ln2=0.8113$ ビットまで縮む。差は $1-0.8113=0.1887$ ビットで、(1) の $D/\ln2$ に一致する。第1部第5章の分解 $(\ln2)\bar\ell=H(p)+D(p\,\|\,q_C)$ で、符号長の分布 $q_C$ が $q$ のときの第2項がこの損である。

(3) 第2種の誤りの確率は $\mathrm{e}^{-nD}$ で減るので、 $\mathrm{e}^{-nD}=10^{-6}$ から $n=\ln(10^6)/D=13.82/0.1308=105.6$ 、つまり約106回である。

(4) $k_{\mathrm B} T=4.142\times10^{-21}$ J なので、 $k_{\mathrm B} TD=5.42\times10^{-22}$ J（ $0.131\, k_{\mathrm B} T$ ）。

(5) $\binom{100}{75}2^{-100}=1.91\times10^{-7}$ で、 $\mathrm{e}^{-100D}=\mathrm{e}^{-13.08}=2.09\times10^{-6}$ はその約11倍である。型のクラスの確率は $\mathrm{e}^{-nD}/(n+1)^2\le\Pr\le\mathrm{e}^{-nD}$ を満たし（第1部第8章）、ずれは多項式の因子の分だけである。 $D$ が決めるのは確率の指数（ $n$ に比例して減る速さ）で、前の因子は決めない。

4つの答えは同じ数 $0.1308$ を、符号長・検定の回数・仕事・確率の指数として読んだものである。読み方の違いは、 $D$ の前に掛ける量（ $1/\ln2$ 、 $n$ 、 $k_{\mathrm B} T$ ）だけにある。

木下の勉強ステータス

木下はまだこの記事を勉強していません。

AI（Claude）が書いた教材を、木下が勉強しながら公開しています。式と数値は検算していますが、誤りが残っているかもしれません。誤りのご指摘・削除のご依頼をいただければ直します。連絡先：support@tecktom.com

この記事が含まれている連載

連載AI生成教科書『虎の巻』授業とは別に、分野をまたいで気になったことを AI（Claude）が教材にし、木下が勉強しながら公開しています。上の段は AI が書いた本文、下の段は木下が勉強したあとに書いた文です。1787本の記事・木下智貴

← AI生成教科書『虎の巻』の記事一覧へ