一意性定理

2つの確率変数の原子を合わせた集合 $N$ は、高々可算である（第3章 §3.3）。$a<b$ がともに $N$ に属さなければ、反転公式 (9.8) の左辺は2つの特性関数で同じ値をとるので

$$F_X(b)-F_X(a)=F_Y(b)-F_Y(a)$$

である。証明は2段で進める。

1. $N$ の外の点で分布関数が一致する。$N$ は可算なので、この集合に属さない点列 $a_n\downarrow-\infty$ を選べる。このとき $F_X(a_n)\to0$ かつ $F_Y(a_n)\to0$ である。よって $b\notin N$ なら $F_X(b)=F_Y(b)$ である。
2. すべての点で一致する。任意の点 $x$ をとる。この集合に属さない点列 $b_n$ で、上から $x$ に近づくものを選べる。区間 $(x,x+1/n)$ は非可算なので、$N$ に属さない点を含むからである。分布関数の右連続性から

$$F_X(x)=\lim F_X(b_n)=\lim F_Y(b_n)=F_Y(x)$$

となる。

分布関数が等しいので分布も等しい（第3章 §3.3）。

(9.1) から

$$\varphi_{-X}(t)=\varphi_X(-t)=\overline{\varphi_X(t)}$$

である。この式から両向きが従う。

• $\varphi_X$ が実数値なら $\varphi_{-X}=\varphi_X$ となる。定理 9.5 から $-X\overset{d}{=}X$ である。
• 逆に $X\overset{d}{=}-X$ なら $\varphi_X=\varphi_{-X}=\overline{\varphi_X}$ である。よって $\varphi_X$ は実数値である。

$0<s<\delta$ を1つ固定する。$\mathrm{e}^{s\left\vert x\right\vert }\le\mathrm{e}^{sx}+\mathrm{e}^{-sx}$ だから

$$E[\mathrm{e}^{s\left\vert X\right\vert }]\le M_X(s)+M_X(-s)<\infty$$

である。$\mathrm{e}^{s\left\vert X\right\vert }$ を級数に展開して項別積分する（第5章 §5.2 の単調収束定理）と

$$\sum_{k\ge0}\frac{s^kE[\left\vert X\right\vert ^k]}{k!}=E[\mathrm{e}^{s\left\vert X\right\vert }]<\infty$$

を得る。とくに

$$\frac{s^{n}E[\left\vert X\right\vert ^{n}]}{n!}\longrightarrow0\qquad(n\to\infty)\tag{9.15}$$

である。$Y$ についても同じである。

第8章 §8.3 の特性関数とモーメントの定理から、$\varphi_X$ は何回でも微分でき、

$$\varphi_X^{(k)}(t_0)=E[(\mathrm{i} X)^k\mathrm{e}^{\mathrm{i} t_0X}]$$

である。第8章 §8.3 では、指数関数の Taylor 剰余を次のように評価した。

$$\Bigl\lvert\mathrm{e}^{\mathrm{i} x}-\sum_{k=0}^{n}\frac{(\mathrm{i} x)^k}{k!}\Bigr\rvert\le\frac{\left\vert x\right\vert ^{n+1}}{(n+1)!}$$

これを $x=hX$ に使い、$\mathrm{e}^{\mathrm{i} t_0X}$ を掛けて期待値をとると

$$\Bigl\lvert\varphi_X(t_0+h)-\sum_{k=0}^{n}\frac{h^k}{k!}\varphi_X^{(k)}(t_0)\Bigr\rvert\le\frac{\left\vert h\right\vert ^{n+1}E[\left\vert X\right\vert ^{n+1}]}{(n+1)!}$$

となる。$\left\vert h\right\vert \le s$ なら、右辺は (9.15) により 0 に収束する。したがって、任意の $t_0$ と $\left\vert h\right\vert \le s$ について

$$\varphi_X(t_0+h)=\sum_{k=0}^{\infty}\frac{h^k}{k!}\varphi_X^{(k)}(t_0)\tag{9.16}$$

であり、$Y$ についても同じ式が成り立つ。

この級数を使い、2つの特性関数が一致する範囲を順に広げる。

1. 原点のまわりで一致する。$t_0=0$ で比べる。$M_X=M_Y$ が $(-\delta,\delta)$ で成り立つので、0 での導関数も等しく、すべてのモーメントが一致する。

$$E[X^k]=M_X^{(k)}(0)=M_Y^{(k)}(0)=E[Y^k]$$

よって $\varphi_X^{(k)}(0)=\mathrm{i}^kE[X^k]=\varphi_Y^{(k)}(0)$ である。(9.16) から、$[-s,s]$ の上で2つの特性関数は一致する。2. 区間の端から先へ延ばす。次に $t_0=\pm s$ で比べる。2つの特性関数は $t_0$ の片側の区間で一致し、どちらも $t_0$ で何回でも微分できる。微分係数は片側からの差分商の極限としても求まるので、すべての $k$ で $\varphi_X^{(k)}(t_0)=\varphi_Y^{(k)}(t_0)$ である。 (9.16) から、$[-2s,2s]$ の上で一致する。3. 繰り返す。これを繰り返せば、すべての $t$ で $\varphi_X(t)=\varphi_Y(t)$ となる。

定理 9.5 から $X\overset{d}{=}Y$ である。

(9.3) で $x=\sigma t$ と置換する。さらに $t$ の代わりに $-u/\sigma$ を入れると、1次元の等式

$$\frac{1}{2\pi}\int_{-\infty}^{\infty}\mathrm{e}^{-\mathrm{i} tu}\,\mathrm{e}^{-\sigma^2t^2/2}\,\mathrm{d} t=\frac{1}{\sqrt{2\pi\sigma^2}}\,\mathrm{e}^{-u^2/(2\sigma^2)}$$

を得る。これを各座標で掛け合わせると

$$\phi_\sigma(\bm u)=\frac{1}{(2\pi)^d}\int_{\mathbb{R}^d}\mathrm{e}^{-\mathrm{i}\,\bm t^\top\bm u}\,\mathrm{e}^{-\sigma^2\left\vert \bm t\right\vert ^2/2}\,\mathrm{d}\bm t\tag{9.19}$$

である。$\sigma\bm Z$ は密度 $\phi_\sigma$ をもち、もとのベクトルと独立である。よって第7章 §7.3 の畳み込みにより、和は次の密度をもつ。

$$f_\sigma(\bm x)=E[\phi_\sigma(\bm x-\bm X)]$$

(9.19) を $\bm u=\bm x-\bm X$ で代入すると

$$f_\sigma(\bm x)=E\Bigl[\frac{1}{(2\pi)^d}\int_{\mathbb{R}^d}\mathrm{e}^{-\mathrm{i}\,\bm t^\top(\bm x-\bm X)}\,\mathrm{e}^{-\sigma^2\left\vert \bm t\right\vert ^2/2}\,\mathrm{d}\bm t\Bigr]$$

となる。被積分関数の絶対値は $\mathrm{e}^{-\sigma^2\left\vert \bm t\right\vert ^2/2}$ で、これは $\mathbb{R}^d\times\Omega$ の上で可積分である。Fubini の定理により期待値と積分を交換すると $E[\mathrm{e}^{\mathrm{i}\bm t^\top\bm X}]=\varphi_{\bm X}(\bm t)$ が現れ、(9.18) を得る。

点 $\bm x\in\mathbb{R}^d$ を固定する。1変数の連続関数

$$h_n(s)=\min\bigl(1,\max(0,1-ns)\bigr)$$

を使う。これは $s\le0$ で 1、$s\ge1/n$ で 0 をとり、その間は1次関数である。これを使って $g_n(\bm y)=\prod_{k=1}^dh_n(y_k-x_k)$ と置く。

• $g_n$ は有界連続である。
• $n\to\infty$ のとき、$g_n$ は各点で減少しながら次の指示関数に収束する。

$$\mathbf 1\{\bm y\le\bm x\}$$ここで $\bm y\le\bm x$ は、すべての成分で $y_k\le x_k$ という意味である。

優収束定理（優関数は定数 1）から

$$P(\bm X\le\bm x)=\lim E[g_n(\bm X)]=\lim E[g_n(\bm Y)]=P(\bm Y\le\bm x)$$

である。同時分布関数が一致するので、同時分布も一致する。区間の族 $\{(-\infty,\bm x]\}$ は $\mathcal B(\mathbb{R}^d)$ を生成する π系なので、第4章 §4.3 と第2章 §2.3 の一意性が使えるからである。

$\bm Z\sim\mathrm N_d(\bm 0,I)$ を、2つの確率ベクトルのどちらとも独立にとる。2つのベクトルは別の確率空間にあってもよく、それぞれの空間で $\bm Z$ をとればよい。

各 $\sigma>0$ で、雑音を足した2つの確率ベクトルを比べる。

$$\bm X+\sigma\bm Z,\qquad\bm Y+\sigma\bm Z$$補題 9.8 から、この2つは同じ密度をもち、同分布である。よって有界連続な $g$ について

$$E[g(\bm X+\sigma\bm Z)]=E[g(\bm Y+\sigma\bm Z)]$$

である。ここで $\sigma\to0$ とする。

• 各標本点で $g(\bm X+\sigma\bm Z)\to g(\bm X)$ である（$g$ の連続性）。
• $\left\vert g\right\vert$ は定数で抑えられる。

優収束定理から、左辺は $E[g(\bm X)]$ に、右辺は $E[g(\bm Y)]$ に収束する。補題 9.9 から $\bm X\overset{d}{=}\bm Y$ である。

• 必要性。$\mathrm{e}^{\mathrm{i}\bm t^\top\bm X}=\prod_k\mathrm{e}^{\mathrm{i} t_kX_k}$ である。独立な確率変数の有界な関数の積の期待値は、期待値の積になる。これには第8章 §8.3 の複素数値の期待値の補題を、$d$ 個に繰り返し使う。
• 十分性。$Y_1,\dots,Y_d$ を、独立で $Y_k\overset{d}{=}X_k$ となるようにとる（第4章 §4.3 の積測度）。必要性から

$$\varphi_{\bm Y}(\bm t)=\prod_k\varphi_{Y_k}(t_k)=\prod_k\varphi_{X_k}(t_k)$$

で、仮定からこれは $\varphi_{\bm X}(\bm t)$ に等しい。定理 9.10 から $\bm X\overset{d}{=}\bm Y$ である。よって $\bm X$ の同時分布は周辺分布の積測度であり、第4章 §4.3 から成分は独立である。