出てくるもの (3)：Gauss 通信路と熱雑音

相対エントロピーから情報と物理を組み立てる　第1部 第6章 §1.6.5　★★ Gauss 分布が分散を決めたときにエントロピーを最大にすることも $D\ge0$。そこから $C=\frac12\ln(1+P/N)$ と、熱雑音のもとで1ビットに要るエネルギー $k_{\mathrm B} T\ln2$ が出る

連続の値をとる場合の $D$ と微分エントロピー

電圧のように連続の値をとる信号を送るときは、確率は密度 $f(x)$ で与えられる。2つの密度の $D$ は、和を積分に置き換えて

$$D(f\,\|\,g)=\int f(x)\ln\frac{f(x)}{g(x)}\,\mathrm{d} x$$

で定める。非負性の証明（Jensen の不等式）は離散の場合と同じ形で使えるので、$D(f\,\|\,g)\ge0$ で、等号はほとんど至る所 $f=g$ のときに限る。相互情報量も $I(X;Y)=D(f_{XY}\,\|\,f_Xf_Y)$ で定め、これは変数の取り直し（$x\mapsto ax+b$ など）で変わらない。

一方、エントロピーを同じように積分にした微分エントロピー

$$h(X)=-\int f(x)\ln f(x)\,\mathrm{d} x\tag{1.6.19}$$

は性質が違う。$X$ を $a$ 倍すると $h(aX)=h(X)+\ln|a|$ と変わり、負にもなる。離散の $H$ を細かい刻みで近似すると、刻み幅の対数だけ発散する定数がずれ、その定数を捨てたものが $h$ だからである。ただし、2つの微分エントロピーの差 $h(Y)-h(Y\,|\,X)$ では捨てた定数が打ち消し合うので、$I(X;Y)=h(Y)-h(Y\,|\,X)$ は意味を持つ。この巻が背骨に $H$ でなく $D$ を選んだ理由の1つがここにある。$D$ は連続の場合にもそのまま移せるが、$H$ はそうではない。

証明

$-\ln\phi_\sigma(x)=\frac12\ln(2\pi\sigma^2)+\frac{x^2}{2\sigma^2}$ は $x^2$ の1次式なので、$f$ で平均すると $f$ の分散だけで決まり $\frac12\ln(2\pi\sigma^2)+\frac12=\frac12\ln(2\pi\mathrm{e}\sigma^2)$ になる。$D(f\,\|\,\phi_\sigma)=-h(f)-\int f\ln\phi_\sigma\,\mathrm{d} x$ にこれを入れればよい。$f=\phi_\sigma$ なら $D=0$ なので、Gauss 分布自身の微分エントロピーが $\frac12\ln(2\pi\mathrm{e}\sigma^2)$ である。

これは統計力学の最大エントロピー原理（相対エントロピーから情報と物理を組み立てる 第2部第1章）と同じ形をしている。「平均エネルギーを決めるとカノニカル分布」の代わりに「2次の平均を決めると Gauss 分布」で、どちらも「制約の量の指数関数の形をした分布との $D$ が $0$ 以上」という1行の議論で出る。

加法的 Gauss 雑音の通信路

入力 $X$ に、$X$ と独立な雑音 $Z\sim\mathcal N(0,N)$（平均 $0$、分散 $N$ の Gauss 分布）が足されて $Y=X+Z$ が届く通信路を考える。入力の大きさに制限が無ければいくらでも送れてしまうので、入力の電力を $\langle X^2 \rangle \le P$ に制限する。

証明

$X$ を止めると $Y$ は $Z$ を平行移動しただけなので、$h(Y\,|\,X)=h(Z)=\frac12\ln(2\pi\mathrm{e} N)$。$Y$ の分散は $\langle X^2 \rangle +N\le P+N$ なので、命題 1.6.15 から$h(Y)\le\frac12\ln\bigl(2\pi\mathrm{e}(P+N)\bigr)$。差をとると $I(X;Y)=h(Y)-h(Z)\le\frac12\ln\frac{P+N}{N}$。$X\sim\mathcal N(0,P)$ なら $Y\sim\mathcal N(0,P+N)$ で等号が成り立つ。

信号の電力と雑音の電力の比 $P/N$ を信号対雑音比（SN 比）と呼ぶ。SN 比が $15$ なら $C=\frac12\ln16\approx1.386$ nat $=2$ ビットで、1回の使用で4つの値を見分けられる計算になる。連続の通信路でも通信路符号化定理は同じ形で成り立ち（Shannon 1948 の論文がこの場合も扱っている）、式 (1.6.21) 未満の速さなら誤りをいくらでも小さくすることができる。

帯域と熱雑音：1ビットに要るエネルギー

周波数 $0$ から $B$ までの成分しか持たない信号は、1秒あたり $2B$ 個の標本値で決まる（標本化定理）。電力 $P$ の信号を、片側の電力スペクトル密度が $N_0$ の白色 Gauss 雑音の線で送ると、1標本あたりの SN 比は $P/(N_0B)$ になる。1秒に $2B$ 回の Gauss 通信路を使うことになるので、1秒あたりの容量は

$$C_B=2B\cdot\frac12\ln\Bigl(1+\frac{P}{N_0B}\Bigr)=B\ln\Bigl(1+\frac{P}{N_0B}\Bigr)\quad[\text{nat/s}]\tag{1.6.22}$$

である。これを $\ln2$ で割ったものが、通信工学で Shannon–Hartley の式と呼ばれる $B\log_2(1+S/N)$ ビット毎秒である。

抵抗の中の電子の熱運動による雑音（熱雑音）は Johnson が測り、Nyquist が理論で説明した¹1J. B. Johnson (1928), Physical Review 32, 97–109；H. Nyquist (1928), Physical Review 32, 110–113.下の脚注へ閉じる。温度 $T$ の抵抗から整合した負荷へ取り出せる雑音の電力は、周波数の幅 $\Delta\nu$ あたり $k_{\mathrm B} T\,\Delta\nu$ で、これは $N_0= k_{\mathrm B} T$ を意味する。帯域 $B$ を広げると SN 比は下がるが標本の数は増え、容量 (1.6.22) は増え続けて

$$C_\infty=\lim_{B\to\infty}B\ln\Bigl(1+\frac{P}{N_0B}\Bigr)=\frac{P}{N_0}=\frac{P}{ k_{\mathrm B} T}\quad[\text{nat/s}]\tag{1.6.23}$$

に近づく。1ビットを送るのに使うエネルギー $E_{\mathrm b}=P/C$ は、どんな符号を使っても

$$E_{\mathrm b}\ \ge\ \frac{P}{C_\infty/\ln2}= k_{\mathrm B} T\ln2\tag{1.6.24}$$

を下回れない。通信工学では $E_{\mathrm b}/N_0\ge\ln2$ を dB で表して「$-1.59$ dB の限界」と呼ぶ。

雑音の電力スペクトル密度を $k_{\mathrm B} T$ と置いたのは古典の近似である。量子力学では、周波数 $\nu$ のモード1つあたりの熱雑音のエネルギーは$\hbar\omega/(\mathrm{e}^{\hbar\omega/ k_{\mathrm B} T}-1)$（$\omega=2\pi\nu$）で、$\hbar\omega\ll k_{\mathrm B} T$ のときに限って $k_{\mathrm B} T$ になる。$T=300$ K では $k_{\mathrm B} T/h\approx6.3$ THz なので、電波やマイクロ波の帯域ではこの近似で十分だが、式 (1.6.23) のように帯域を無限に広げる極限では近似の前提が崩れる。光の領域まで含めた正しい容量は量子力学の通信路容量（Holevo 量）で扱う（相対エントロピーから情報と物理を組み立てる 第3部第7章）。

1　J. B. Johnson (1928), Physical Review 32, 97–109；H. Nyquist (1928), Physical Review 32, 110–113.