この章のまとめ
AI 生成・木下が未勉強
相対エントロピーから情報と物理を組み立てる 第1部 第1章 §1.1.7 ★★★ 比べる2つの分布を選び、非負性とデータ処理不等式を当てる、という手順で巻全体が組まれている
この巻は、情報理論・統計学・統計力学・量子情報・情報熱力学を、「どの2つの分布(状態)を比べたか」と「 のどの性質を当てたか」に分けて読む。相対エントロピー は、 が正しいときに と見分ける手がかりの観測1回あたりの平均で、2つの向きで値が違う。当てる性質は2つで、非負性 は から、データ処理不等式 は log-sum 不等式から、それぞれ数行で出る。
比べる相手を選ぶと、各分野の基本量が出てくる。一様分布と比べると Shannon エントロピー、独立な分布と比べると相互情報量、少しずらした分布と比べると Fisher 情報、経験分布と模型を比べると最尤推定になる。Gibbs 分布と比べると、自由エネルギーの余りが に等しく、非負性から自由エネルギー最小の原理が出る。熱浴と接した緩和を Gibbs 分布を動かさない確率行列で書くと、データ処理不等式から自由エネルギーが減り続けることが出る。第二法則はデータ処理不等式の1つの姿である、という巻の主張の最小の形がこれである。
次の章(第1部第2章)からは、これらを1つずつ正確に作る。第2章で Shannon エントロピーを驚きの平均として導入し、長い系列で典型集合に確率が集まることを示す。第3章で と相互情報量の性質を整え、第4章でデータ処理不等式と十分統計量を扱う。
この章で先に使った道具
- 相対エントロピー (nat)。非対称。
- 非負性:、等号は のときだけ。
- データ処理不等式:確率行列 について 。
- 、、。
- 。 なら は減り続ける(第二法則)。
総合問題 2準位系の緩和を情報で通して読む ★★★
オリジナルエネルギー の基底状態 g とエネルギー の励起状態 e をとる系が温度 の熱浴と接している。 とする。分布は の順に書く。
- (1) (使う道具:1.1.4節の Gibbs の変分原理・1.1.1節の定義)Gibbs 分布 を求めよ。励起状態に確実にいる分布 について、 を式 (1.1.10) と式 (1.1.9) から直接計算し、 と一致することを確かめよ。
- (2) (使う道具:1.1.2節のデータ処理不等式・1.1.4節の緩和)1ステップの時間発展を、g から e へ確率 、e から g へ確率 で飛び移る確率行列
で書く。 を確かめ、 と を について求めて、 が減り続けることを確かめよ。3. (3) (使う道具:1.1.3節の Fisher 情報)励起状態の確率のずれ が となることを示せ。さらに、 が小さいとき ( は硬貨の族の Fisher 情報を で評価したもの)となることを使って、 が1ステップごとにおよそ 倍になることを示せ。4. (4) (使う道具:1.1.5節の単位・1.1.4節の自由エネルギーの余り) をビットで表せ。 で、 と、 から等温で取り出せる仕事の上限 を eV で求めよ。5. (5) (使う道具:1.1.2節・1.1.4節)最初の1ステップで失われた をビットで求め、それが熱力学では何にあたるかを述べよ。
解答
(1) なので 、、。 では平均エネルギーが 、 なので 。よって
一方 で、式 (1.1.11) のとおり一致する。
(2) の第1成分は 、第2成分は で、 は動かない。g から e へ移る確率の流れ と、e から g へ移る流れ が釣り合っている(詳細つり合い)。順に掛けると
相対エントロピーは
、 で、 から減り続ける。これは式 (1.1.12) の具体例で、各ステップで自由エネルギー も減り続ける。
(3) で、 も同じ式を満たすので、引き算して 。 から 。 は の でない方の固有値である。例題 1.1.3(2) の を で評価すると で、。 が毎ステップ 倍になるので、 はおよそ 倍ずつ減る。実際、 で近似値は , 、厳密値は , で、比は , と に近づく。 から への比は で に近い。
(4) なので、ちょうど 2 ビットである。 で なので、、取り出せる仕事の上限は である。上限が より大きいのは、励起状態に確実にいるという知識(2 ビット)の分の が、エネルギーに上乗せされているからである。
(5) nat ビット。式 (1.1.11) から、これに を掛けた が最初の1ステップで減った自由エネルギーで、熱浴へ流れた熱 と系のエントロピーの変化を使うと、系と熱浴を合わせたエントロピーの増加 に を掛けたものに等しい。仕事を取り出さずに緩和させたので、取り出せたはずの仕事のうち がこの1ステップで失われ、系と熱浴を合わせたエントロピーが だけ増えた。この「失われた = 生じたエントロピー」という読み方を、1本1本の経路の確率の言葉で精密にしたものが 第4部第3章 のエントロピー生成である。
木下の勉強ステータス
木下はまだこの記事を勉強していません。
AI(Claude)が書いた教材を、木下が勉強しながら公開しています。式と数値は検算していますが、誤りが残っているかもしれません。誤りのご指摘・削除のご依頼をいただければ直します。 連絡先:support@tecktom.com
← AI生成教科書『虎の巻』の記事一覧へ