tecktom.com

授業で習った形との対応

2026年10月15日8分で読めますAI生成教科書『虎の巻』第1部 第3章 相対エントロピーと相互情報量
目次
  1. 情報理論の授業：底 2 とベン図
  2. 統計学と機械学習：最尤法は の最小化
  3. 統計力学への予告
  4. 木下の層

AI 生成・木下が未勉強

相対エントロピーから情報と物理を組み立てる　第1部 第3章 §1.3.6　★★ 情報理論の授業の「ビットとベン図」、統計学の「KL ダイバージェンスと最尤法」を、この章の nat と DD の形に並べる

情報理論の授業：底 2 とベン図

学部の情報理論の授業では、エントロピーを底 22 の対数で書き、単位をビットとすることが多い。条件付きエントロピー H(X ∣ Y)H(X\,|\,Y) をあいまい度（equivocation）、相互情報量を「伝送情報量」とも呼び、図 1.3.3 と同じベン図で関係を覚える。相互情報量は H(X)−H(X ∣ Y)H(X)-H(X\,|\,Y) で定義されることが多く、非負性は「条件を付けるとエントロピーは減る」の証明を経て示される。この章では順序を逆にして、相互情報量を DD で定義し、非負性を Gibbs の不等式から直接出した。両者の対応を表 1.3.1 に並べる。

表 1.3.1　授業でのビットの書き方と、この章の nat の書き方の対応
量授業の書き方（ビット）この章の書き方（nat）
エントロピー−∑xp(x)log⁡2p(x)-\sum_xp(x)\log_2p(x)H(X)=−∑xp(x)ln⁡p(x)H(X)=-\sum_xp(x)\ln p(x)
最大値log⁡2∣X∣\log_2\lvert \mathcal X\rvert（一様分布）ln⁡∣X∣−D(p ∥ u)\ln\lvert \mathcal X\rvert -D(p\,\|\,u) の最大
あいまい度−∑p(x,y)log⁡2p(x ∣ y)-\sum p(x,y)\log_2p(x\,|\,y)H(X ∣ Y)H(X\,|\,Y)
相互情報量H(X)−H(X ∣ Y)H(X)-H(X\,|\,Y) で定義D(pXY ∥ pXpY)D(p_{XY}\,\|\,p_Xp_Y) で定義
非負性の根拠条件付けでエントロピーが減ることGibbs の不等式（Jensen）
KL ダイバージェンス∑plog⁡2(p/q)\sum p\log_2(p/q)（後半で登場）D(p ∥ q)D(p\,\|\,q)（最初に定義）

数値を行き来するときは、nat の値を ln⁡2≈0.6931\ln2\approx0.6931 で割ればビットになる。例題 1.3.4 の 0.36810.3681 nat =0.531=0.531 ビットはその例で、授業の式 1−h(ε)1-h(\varepsilon )（hh は底 22 の2値エントロピー）と同じ値である。

統計学と機械学習：最尤法は DD の最小化

統計学の授業では、D(p ∥ q)D(p\,\|\,q) を Kullback–Leibler 情報量（KL ダイバージェンス）と呼び、尤度比の対数の期待値として導入する。最尤法との関係は、序章の式 (1.1.13) と同じ恒等式で見える。データ x1,…,xnx_1,\dots,x_n の経験分布を p^n\hat p_n と書けば

1n∑i=1nln⁡qθ(xi)=−H(p^n)−D(p^n ∥ qθ)(1.3.22)\frac1n\sum_{i=1}^n\ln q_\theta(x_i)=-H(\hat p_n)-D(\hat p_n\,\|\,q_\theta)\tag{1.3.22}

で、この章の言葉では式 (1.3.2) を p=p^np=\hat p_n に当てたものである。H(p^n)H(\hat p_n) は θ\theta によらないので、対数尤度を最大にする θ\theta は、経験分布からの D(p^n ∥ qθ)D(\hat p_n\,\|\,q_\theta) を最小にする θ\theta と同じである。機械学習で分類器の学習に使う交差エントロピー損失は、式 (1.3.22) の左辺の符号を変えたものである。ここで DD の向きは「データ（実際の分布）が左、モデルが右」であり、平均をとる分布がデータの側に固定されている。推定量の精度を Fisher 情報で測る話（統計学では Fisher 情報を I(θ)I(\theta) と書くが、この巻では相互情報量と区別するため J(θ)J(\theta) と書く）は 第1部第7章 で、検定の誤り確率の指数は 第1部第8章 で扱う。

統計力学への予告

統計力学の授業では、カノニカル分布 peq(i)=e−βEi/Zp_{\mathrm{eq}}(i)=\mathrm{e}^{-\beta E_i}/Z の自由エネルギー F=−kBTln⁡ZF=- k_{\mathrm B} T\ln Z が最小であることを、熱力学の議論で示す。この巻では、任意の分布 pp について ⟨E⟩p−kBT H(p)\langle E \rangle _p- k_{\mathrm B} T\,H(p) と FF の差が kBT D(p ∥ peq)k_{\mathrm B} T\,D(p\,\|\,p_{\mathrm{eq}}) に等しいことを示し、自由エネルギー最小の原理を Gibbs の不等式の言い換えとして読む。これは 第2部第2章 で扱う。

例題 1.3.6　正規分布の最尤推定を交差エントロピーで読む ★★

オリジナル5個のデータ 1.2, 0.7, 2.1, 1.5, 0.51.2,\ 0.7,\ 2.1,\ 1.5,\ 0.5 を、モデル qμ,σ=N(μ,σ2)q_{\mu,\sigma}=\mathcal N(\mu,\sigma^2) で説明する。標本平均を xˉ\bar x、nn で割った標本分散を s2≔1n∑i(xi−xˉ)2s^2\coloneqq\frac1n\sum_i(x_i-\bar x)^2 と書く。

  1. (1) 交差エントロピー L(μ,σ)≔−1n∑i=1nln⁡qμ,σ(xi)L(\mu,\sigma)\coloneqq-\frac1n\sum_{i=1}^n\ln q_{\mu,\sigma}(x_i) を xˉ\bar x と s2s^2 で表し、式 (1.3.4) の D(N(xˉ,s2) ∥ N(μ,σ2))D\bigl(\mathcal N(\bar x,s^2)\,\|\,\mathcal N(\mu,\sigma^2)\bigr) と並べて、LL を最小にするのが μ^=xˉ\hat\mu=\bar x, σ^2=s2\hat\sigma^2=s^2 であることを示せ。
  2. (2) このデータの xˉ\bar x, s2s^2 と、LL の最小値を求めよ。
  3. (3) n−1n-1 で割った分散 σ2=0.41\sigma^2=0.41 を使うと、LL は最小値よりいくら大きくなるか。
解答

(1) −ln⁡qμ,σ(x)=12ln⁡(2πσ2)+(x−μ)2/(2σ2)-\ln q_{\mu,\sigma}(x)=\frac12\ln(2\pi\sigma^2)+(x-\mu)^2/(2\sigma^2) を平均する。1n∑i(xi−μ)2=s2+(xˉ−μ)2\frac1n\sum_i(x_i-\mu)^2=s^2+(\bar x-\mu)^2 なので

L(μ,σ)=12ln⁡(2πσ2)+s2+(xˉ−μ)22σ2=ln⁡σs+s2+(xˉ−μ)22σ2−12⏟D(N(xˉ,s2) ∥ N(μ,σ2))+12ln⁡(2πes2)L(\mu,\sigma)=\frac12\ln(2\pi\sigma^2)+\frac{s^2+(\bar x-\mu)^2}{2\sigma^2} =\underbrace{\ln\frac{\sigma}{s}+\frac{s^2+(\bar x-\mu)^2}{2\sigma^2}-\frac12}_{D(\mathcal N(\bar x,s^2)\,\|\,\mathcal N(\mu,\sigma^2))}+\frac12\ln(2\pi\mathrm{e} s^2)

となる。下括弧は式 (1.3.4) で μ1=xˉ\mu_1=\bar x, σ12=s2\sigma_1^2=s^2 とおいたもので、最後の項は μ,σ\mu,\sigma によらない。経験分布は密度を持たないので式 (1.3.22) をそのままは使えないが、LL がデータの平均と分散だけで決まるため、「平均と分散を合わせた正規分布」が経験分布の代わりに左に入り、式 (1.3.22) と同じ形になる。Gibbs の不等式から D≥0D\ge0 で、等号は2つの正規分布が等しいとき、つまり μ=xˉ\mu=\bar x, σ2=s2\sigma^2=s^2 のときに限る。よって最尤推定は μ^=xˉ\hat\mu=\bar x、σ^2=s2\hat\sigma^2=s^2（nn で割った分散）である。

(2) xˉ=6.0/5=1.2\bar x=6.0/5=1.2。偏差は 0, −0.5, 0.9, 0.3, −0.70,\,-0.5,\,0.9,\,0.3,\,-0.7 で、2乗の和は 1.641.64、s2=1.64/5=0.328s^2=1.64/5=0.328。最小値は D=0D=0 のときの 12ln⁡(2πes2)=12(ln⁡(2π×0.328)+1)≈12(0.7231+1)≈0.8616\frac12\ln(2\pi\mathrm{e} s^2)=\frac12\bigl(\ln(2\pi\times0.328)+1\bigr)\approx\frac12(0.7231+1)\approx0.8616 nat である。

(3) μ=xˉ\mu=\bar x のまま σ2=0.41\sigma^2=0.41 とすると、増える分は DD そのもので、式 (1.3.4) で r=s2/σ2=0.328/0.41=0.8r=s^2/\sigma^2=0.328/0.41=0.8 とおいてD=12(r−1−ln⁡r)=12(−0.2+0.2231)≈0.0116D=\frac12(r-1-\ln r)=\frac12(-0.2+0.2231)\approx0.0116 nat。5個分の対数尤度にすると 0.0580.058 小さい。n−1n-1 で割った分散は不偏推定量だが、尤度を最大にするのは nn で割ったほうである。

木下の勉強ステータス

木下はまだこの記事を勉強していません。

AI（Claude）が書いた教材を、木下が勉強しながら公開しています。式と数値は検算していますが、誤りが残っているかもしれません。誤りのご指摘・削除のご依頼をいただければ直します。 連絡先：support@tecktom.com

目次

この記事が含まれている連載

連載AI生成教科書『虎の巻』授業とは別に、分野をまたいで気になったことを AI（Claude）が教材にし、木下が勉強しながら公開しています。上の段は AI が書いた本文、下の段は木下が勉強したあとに書いた文です。1787本の記事・木下 智貴
← AI生成教科書『虎の巻』の記事一覧へ