全変動距離と分布の近さ

確率論入門　第5章 §5.5　★★ 2つの分布の違いを「事象の確率の差の最大値」で測る。密度の差の積分とカップリングの2通りで計算・評価する

定義と密度による表示

2つの分布がどれだけ近いかを1つの数で表したい。最も素朴な尺度は、すべての事象について確率の差を見て、その最大値をとるものである。

定義から $0\le d_{\mathrm{TV}}\le1$ であり、対称性と次の三角不等式が成り立つ。

$$d_{\mathrm{TV}}(\mu,\kappa)\le d_{\mathrm{TV}}(\mu,\nu)+d_{\mathrm{TV}}(\nu,\kappa)$$

各 $A$ で $\left\vert \mu(A)-\kappa(A)\right\vert \le\left\vert \mu(A)-\nu(A)\right\vert +\left\vert \nu(A)-\kappa(A)\right\vert$ として、上限をとればよい。$d_{\mathrm{TV}}(\mu,\nu)=0$ なら $\mu=\nu$ である。よって全変動距離は、確率測度の全体の上の距離である。

(5.20) はすべての事象についての上限なので、そのままでは計算しにくい。分布が確率関数か密度で書けるときは、次の公式で計算することができる。

証明

(ii) を示す（(i) は積分を和に替えるだけである）。$A^*=\{x:f(x)>g(x)\}$ と置く。任意の Borel 集合 $A$ について

$$\mu(A)-\nu(A)=\int_A(f-g)\,\mathrm{d} x\le\int_{A\cap A^*}(f-g)\,\mathrm{d} x\le\int_{A^*}(f-g)\,\mathrm{d} x=\mu(A^*)-\nu(A^*)$$

である。2つの不等号の理由は次のとおりである。

• 1つ目：$A\setminus A^*$ の上で $f-g\le0$ だから。
• 2つ目：$A^*$ の上で $f-g>0$ だから。

$\nu(A)-\mu(A)=\mu(A^c)-\nu(A^c)$ にも同じ評価を使うと、$\nu(A)-\mu(A)\le\mu(A^*)-\nu(A^*)$ となる。したがって

$$d_{\mathrm{TV}}(\mu,\nu)=\mu(A^*)-\nu(A^*)=\int(f-g)^+\,\mathrm{d} x$$

である。残りの等号を示す。$\int(f-g)\,\mathrm{d} x=1-1=0$ から $\int(f-g)^+\,\mathrm{d} x=\int(f-g)^-\,\mathrm{d} x$ である。$\left\vert f-g\right\vert =(f-g)^++(f-g)^-$ なので、

$$\int\left\vert f-g\right\vert \,\mathrm{d} x=2\int(f-g)^+\,\mathrm{d} x .$$

最後の等号は $(f-g)^+=f-\min(f,g)$ を積分すればよい。

全変動距離は、有界な関数の期待値の差の最大値としても書ける。(ii) の状況で、$\left\vert h\right\vert \le1$ を満たす Borel 可測関数 $h$ をとると

$$\left\vert E[h(X)]-E[h(Y)]\right\vert =\Bigl|\int h(f-g)\,\mathrm{d} x\Bigr|\le\int\left\vert f-g\right\vert \,\mathrm{d} x=2\,d_{\mathrm{TV}}(X,Y)\tag{5.23}$$

であり、$h=\mathbf 1_{A^*}-\mathbf 1_{(A^*)^c}$ で等号が成り立つ。したがって

$$d_{\mathrm{TV}}(X,Y)=\frac12\sup_{\left\vert h\right\vert \le1}\left\vert E[h(X)]-E[h(Y)]\right\vert$$

である。全変動距離が小さければ、有界な量の期待値はどれも近い。

Scheffé の補題

確率関数や密度が各点で収束するとき、全変動距離も 0 に収束する。

証明

$(f-f_n)^+\le f$ で、$f$ は可積分である。また $(f-f_n)^+\to0$ a.e. である。優収束定理から $\int(f-f_n)^+\,\mathrm{d} x\to0$ である。定理 5.24 の証明と同じく $\int\left\vert f-f_n\right\vert \,\mathrm{d} x=2\int(f-f_n)^+\,\mathrm{d} x$ なので、結論を得る。

たとえば $\lambda>0$ を固定し、$p=\lambda/n$ とする。すると各 $k$ で

$$\binom nk\Bigl(\frac\lambda n\Bigr)^k\Bigl(1-\frac\lambda n\Bigr)^{n-k}=\frac{\lambda^k}{k!}\cdot\frac{n(n-1)\cdots(n-k+1)}{n^k}\cdot\Bigl(1-\frac\lambda n\Bigr)^{n-k}\to\frac{\lambda^k}{k!}\mathrm{e}^{-\lambda}$$

なので、Scheffé の補題から次が成り立つ。

$$d_{\mathrm{TV}}\bigl(\mathrm{Bin}(n,\lambda/n),\mathrm{Po}(\lambda)\bigr)\to0$$

この近似がどれだけ正確かを、次のカップリングで評価する。

カップリング

2つの分布を比べるために、それぞれの分布に従う確率変数を同じ確率空間の上に、なるべく値が一致するように作る方法がある。

カップリングでは周辺分布だけが決まっていて、同時分布は自由に選べる。独立にとるのも1つのカップリングである。

証明

$X-Y$ は確率変数なので、$\{X\ne Y\}$ は事象である。任意の Borel 集合 $A$ をとる。2つの事象 $\{X\in A\}$、$\{Y\in A\}$ を、それぞれ2つの値が一致する部分と一致しない部分に分ける。前者の上では2つの事象は一致するので

$$\mu(A)-\nu(A)=P(X\in A,\,X\ne Y)-P(Y\in A,\,X\ne Y)\le P(X\ne Y)$$

である。補集合と入れ替えれば、$\nu(A)-\mu(A)\le P(X\ne Y)$ も得られる。上限をとって結論を得る。

この不等式によって、分布の違いを「確率変数が一致しない確率」で上から抑えることができる。離散分布では、等号を達成するカップリングを具体的に作ることができる。

証明

次のように置く。

$$d=d_{\mathrm{TV}}(\mu,\nu),\qquad m(x)=\min(p(x),q(x))$$

(5.21) から $\sum_xm(x)=1-d$ である。$0<d<1$ の場合を示す。（$d=0$ なら $X=Y\sim\mu$ とすればよい。$d=1$ なら独立にとればよい。）

独立な3つの確率変数 $Z,U,V$ を用意する。さらにそれらと独立に、$P(B=1)=1-d$ となる Bernoulli 型の確率変数 $B$ を用意する。これらは第4章 §4.2 の独立列の構成で作ることができる。分布は

$$P(Z=x)=\frac{m(x)}{1-d},\qquad P(U=x)=\frac{p(x)-m(x)}{d},\qquad P(V=x)=\frac{q(x)-m(x)}{d}$$

とする（どれも非負で和が 1）。$X,Y$ を次のように置く。

• $B=1$ なら、$X=Y=Z$。
• $B=0$ なら、$X=U,\ Y=V$。

すると

$$P(X=x)=(1-d)\frac{m(x)}{1-d}+d\,\frac{p(x)-m(x)}{d}=p(x)$$

で、同様に $P(Y=x)=q(x)$ である。

$p-m$ と $q-m$ が同時に正になる点は無い。どの点でも、$p,q$ の一方は $m$ に等しいからである。よって $U,V$ は値を共有せず、$U\ne V$ である。よって $P(X\ne Y)=P(B=0)=d$ となる。

確認テスト

オリジナル

1. 5.5-1 6点 1, …, 6 の上の一様分布 $p$ と、次の $q$ の全変動距離を求めよ。上限を達成する事象も答えよ。

$$q=\Bigl(\frac14,\frac14,\frac18,\frac18,\frac18,\frac18\Bigr)$$ 2. 5.5-2 $a>1$ とする。$(0,1)$ 上の一様分布と $(0,a)$ 上の一様分布の全変動距離を求めよ。3. 5.5-3 $\mu>0$ とする。標準正規分布の分布関数を $\Phi$ とする。 2つの分布 $\mathrm N(0,1)$、$\mathrm N(\mu,1)$ の全変動距離を考える。これが $2\Phi(\mu/2)-1$ であることを示せ。また $\mu=1$ の値を小数第3位まで求めよ。4. 5.5-4 Borel 可測関数 $g$ について $d_{\mathrm{TV}}\bigl(g(X),g(Y)\bigr)\le d_{\mathrm{TV}}(X,Y)$ を示せ。