当てる性質：Jensen の不等式と非負性

2026年10月15日10分で読めますAI生成教科書『虎の巻』第1部第3章相対エントロピーと相互情報量

Jensen の不等式
Gibbs の不等式
距離ではないことと、Pinsker の不等式
木下の層

AI 生成・木下が未勉強

相対エントロピーから情報と物理を組み立てる　第1部第3章 §1.3.2　★★★ $D(p\,\|\,q)\ge0$ （等号は $p=q$ のときだけ）。この巻のすべての不等式の出発点

Jensen の不等式

関数 $f$ が区間 $J$ で凸（下に凸）であるとは、 $J$ の任意の2点 $x_1,x_2$ と $0\le\lambda\le1$ について $f(\lambda x_1+(1-\lambda)x_2)\le\lambda f(x_1)+(1-\lambda)f(x_2)$ が成り立つことをいう。2点を結ぶ弦がグラフより上にある、という条件である。 $x_1\ne x_2$ 、 $0<\lambda<1$ でいつも狭義の不等号が成り立つとき、狭義凸という。 $-f$ が凸のとき $f$ は凹（上に凸）である。2回微分できる関数なら、 $f''\ge0$ が凸、 $f''>0$ が狭義凸の十分条件になる。 $-\ln x$ （ $x>0$ ）は $(-\ln x)''=1/x^2>0$ なので狭義凸で、 $\ln x$ は狭義凹である。

定理 1.3.2（Jensen の不等式 ★★★）

$f$ が区間 $J$ で凸で、確率変数 $X$ が $J$ に値をとり平均 $\langle X \rangle$ を持つなら、

$f\bigl(\langle X \rangle \bigr)\le\langle f(X) \rangle .\tag{1.3.5}$

$f$ が狭義凸なら、等号は $X$ が確率1で定数のときに限る。

証明

有限個の値をとる場合を示す。 $m\coloneqq\langle X \rangle$ は $J$ に入る。凸関数のグラフには、点 $(m,f(m))$ を通ってグラフの下にある直線（支持直線） $\ell(x)=f(m)+c\,(x-m)$ がある（ $f$ が微分できるなら $c=f'(m)$ ととればよい。微分できない点では、左右の微分係数の間の値をとる）。すべての $x\in J$ で $f(x)\ge\ell(x)$ なので、両辺を $X$ の分布で平均すると

$\langle f(X) \rangle \ge\langle \ell(X) \rangle =f(m)+c\,(\langle X \rangle -m)=f(m) .$

$f$ が狭義凸なら、 $f(x)=\ell(x)$ となるのは $x=m$ だけである。等号が成り立つには確率が正のすべての値で $f(x)=\ell(x)$ が要るので、 $X=m$ が確率1で成り立つ。

図 1.3.2 は、2つの値を確率 $1/2$ ずつでとる $X$ について、狭義凸な $-\ln x$ でこの不等式を描いたものである。値の平均での関数の値（グラフの上の点）は、関数の値の平均（弦の中点）より下にある。

図 1.3.2　Jensen の不等式。 $X$ が $x_1=0.5$ と $x_2=2.5$ を確率 $1/2$ ずつでとるとき、弦の中点 $\langle -\ln X \rangle \approx-0.112$ （青）は、グラフの上の点 $-\ln\langle X \rangle =-\ln1.5\approx-0.405$ （赤）より上にある。

Gibbs の不等式

序章（定理 1.1.1）では、この不等式を $\ln x\le x-1$ の1行で示した。ここでは Jensen の不等式から示し、その道具を結合凸性（定理 1.3.8）まで使う。

定理 1.3.3（Gibbs の不等式 ★★★）

有限集合上の任意の確率分布 $p,q$ について

$D(p\,\|\,q)\ge0\tag{1.3.6}$

が成り立ち、等号は $p=q$ のときに限る。

証明

$D(p\,\|\,q)=+\infty$ なら明らかなので、 $p$ の台 $A\coloneqq\{x: p(x)>0\}$ の上で $q(x)>0$ とする。 $A$ の上で確率 $p(x)$ をとる確率変数として $Y=q(X)/p(X)$ を考えると、狭義凹な $\ln$ に Jensen の不等式（凹関数なので向きが逆になる）を当てはめて

$-D(p\,\|\,q)=\sum_{x\in A}p(x)\ln\frac{q(x)}{p(x)}\le\ln\Bigl(\sum_{x\in A}p(x)\frac{q(x)}{p(x)}\Bigr)=\ln\Bigl(\sum_{x\in A}q(x)\Bigr)\le\ln1=0 .$

等号の条件を調べる。最初の不等号が等号になるのは、Jensen の不等式の等号条件から、 $q(x)/p(x)$ が $A$ の上で定数 $c$ のときである。2つ目の不等号が等号になるのは、 $\sum_{x\in A}q(x)=1$ 、つまり $q$ の台も $A$ に収まるときである。2つを合わせると $c=\sum_{x\in A}q(x)=1$ で、 $p=q$ となる。逆に $p=q$ なら各項の $\ln1=0$ なので $D=0$ である。

証明が2段に分かれていることに意味がある。1段目は「 $p$ の台の中で $q$ の形が $p$ と違う」ことの罰、2段目は「 $q$ が $p$ の台の外に確率を漏らしている」ことの罰である。どちらか一方でもあると $D>0$ になる。

連続な分布でも、同じ議論で $D\ge0$ が成り立つ（和を積分に、有限個の値をとる場合の Jensen の不等式を一般の確率変数の場合に置き換える）。式 (1.3.4) で確かめると、 $\mu_1=\mu_2$ のとき $r=\sigma_1^2/\sigma_2^2$ とおいて $D=\frac12(r-1-\ln r)$ で、 $\ln r\le r-1$ より $D\ge0$ 、等号は $r=1$ のときだけである。

Gibbs の不等式から、和の形のまま使える不等式が1つ出てくる。

系 1.3.4（対数和不等式 ★★）

非負の数 $a_1,\dots,a_n$ と正の数 $b_1,\dots,b_n$ について、 $a\coloneqq\sum_ia_i>0$ 、 $b\coloneqq\sum_ib_i$ とおくと

$\sum_{i=1}^na_i\ln\frac{a_i}{b_i}\ge a\ln\frac{a}{b} .\tag{1.3.7}$

等号は $a_i/b_i$ が $i$ によらないときに限る。

証明

$p_i\coloneqq a_i/a$ 、 $q_i\coloneqq b_i/b$ は確率分布である。 $a_i\ln(a_i/b_i)=a\,p_i\bigl(\ln(p_i/q_i)+\ln(a/b)\bigr)$ を $i$ で足すと、左辺 $=a\,D(p\,\|\,q)+a\ln(a/b)$ となる。Gibbs の不等式から $D(p\,\|\,q)\ge0$ で、等号は $p=q$ 、つまり $a_i/b_i=a/b$ のときである。

序章はこの不等式でデータ処理不等式を示した（定理 1.1.2）。この章では、1.3.5 節で $D$ の凸性を示すときに使う（次の章はデータ処理不等式を連鎖律から示し直す）。

距離ではないことと、Pinsker の不等式

$D$ は非負で、 $0$ になるのは $p=q$ のときだけなので、2つの分布の「隔たり」を測る量として使える。しかし距離の公理のうち、対称性と三角不等式は満たさない。対称性が成り立たないことは 1.3.1 節で見た。三角不等式も成り立たない。コイン $p_a=(a,1-a)$ で $a=1/2,\ 1/4,\ 1/10$ の3つをとると

$D(p_{1/2}\,\|\,p_{1/10})\approx0.511,\qquad D(p_{1/2}\,\|\,p_{1/4})+D(p_{1/4}\,\|\,p_{1/10})\approx0.144+0.092=0.236$

で、遠回りしたほうが小さい。 $D$ は、分布のずれが小さいときに差の2乗のように振る舞う量なので（図 1.3.1）、2乗した距離が三角不等式を満たさないのと同じ理由で、三角不等式が成り立たない。

距離そのものとの関係は、次の不等式で押さえられる。2つの分布の差の絶対値の和を $\lVert p-q\rVert _1\coloneqq\sum_x\lvert p(x)-q(x)\rvert$ と書く。これは、どんな事象 $A$ についても確率の差 $\lvert p(A)-q(A)\rvert$ が $\frac12\lVert p-q\rVert _1$ を超えないという意味で、2つの分布を1回の観測で見分ける能力を測る距離である。

命題 1.3.5（Pinsker の不等式 ★★）

有限集合上の任意の確率分布 $p,q$ について

$D(p\,\|\,q)\ge\frac12\lVert p-q\rVert _1^2 .\tag{1.3.8}$

値が2つの場合（コイン）の証明を例題 1.3.2 で行う。一般の場合は、事象 $A=\{x: p(x)\ge q(x)\}$ に入るか入らないかだけを見る粗い観測に移ると $D$ が増えないこと（次の章のデータ処理不等式）を使って、コインの場合に帰着できる。この帰着は第1部第4章で行う。Pinsker の不等式は「 $D$ が小さければ、2つの分布はどんな事象についても確率がほとんど同じである」ことを保証する。

例題 1.3.2　コインの Pinsker の不等式 ★★

オリジナル $0<a<1$ 、 $0<b<1$ とし、 $p=(a,1-a)$ 、 $q=(b,1-b)$ とする。

(1) $\lVert p-q\rVert _1=2\lvert a-b\rvert$ を確かめ、示すべき不等式が $g(b)\coloneqq a\ln\dfrac ab+(1-a)\ln\dfrac{1-a}{1-b}-2(a-b)^2\ge0$ であることを述べよ。
(2) $a$ を止めて $g$ を $b$ で微分し、 $g'(b)=(b-a)\Bigl(\dfrac{1}{b(1-b)}-4\Bigr)$ を示せ。
(3) $g(b)\ge0$ を示せ。

解答

(1) $\lvert p(1)-q(1)\rvert +\lvert p(2)-q(2)\rvert =\lvert a-b\rvert +\lvert (1-a)-(1-b)\rvert =2\lvert a-b\rvert$ なので、 $\frac12\lVert p-q\rVert _1^2=2(a-b)^2$ である。示すべき式 (1.3.8) は $D(p\,\|\,q)-2(a-b)^2\ge0$ 、つまり $g(b)\ge0$ になる。

(2) $\dfrac{\mathrm{d}}{\mathrm{d} b}\Bigl(a\ln\dfrac ab\Bigr)=-\dfrac ab$ 、 $\dfrac{\mathrm{d}}{\mathrm{d} b}\Bigl((1-a)\ln\dfrac{1-a}{1-b}\Bigr)=\dfrac{1-a}{1-b}$ 、 $\dfrac{\mathrm{d}}{\mathrm{d} b}\bigl(-2(a-b)^2\bigr)=4(a-b)$ なので、

$\begin{aligned}g'(b)&=-\frac ab+\frac{1-a}{1-b}+4(a-b)=\frac{-a(1-b)+b(1-a)}{b(1-b)}-4(b-a)\\ &=\frac{b-a}{b(1-b)}-4(b-a)=(b-a)\Bigl(\frac{1}{b(1-b)}-4\Bigr).\end{aligned}$

(3) $0<b<1$ では $b(1-b)\le1/4$ なので、括弧の中は $0$ 以上である。したがって $g'(b)$ は $b<a$ で $0$ 以下、 $b>a$ で $0$ 以上になり、 $g$ は $b=a$ で最小になる。最小値は $g(a)=0$ なので、すべての $b$ で $g(b)\ge0$ である。図 1.3.1 の実線 $2(a-1/2)^2$ は、 $b=1/2$ のときのこの下界を表していて、点線の $D(p_a\,\|\,p_{1/2})$ はいつもその上にある。

木下の勉強ステータス

木下はまだこの記事を勉強していません。

AI（Claude）が書いた教材を、木下が勉強しながら公開しています。式と数値は検算していますが、誤りが残っているかもしれません。誤りのご指摘・削除のご依頼をいただければ直します。連絡先：support@tecktom.com

この記事が含まれている連載

連載AI生成教科書『虎の巻』授業とは別に、分野をまたいで気になったことを AI（Claude）が教材にし、木下が勉強しながら公開しています。上の段は AI が書いた本文、下の段は木下が勉強したあとに書いた文です。1787本の記事・木下智貴

← AI生成教科書『虎の巻』の記事一覧へ