確率論入門 第9章 §9.1 ★★ 区間の確率を特性関数の積分で書く公式。端点に原子があれば、その確率の半分が数えられる
第8章では、確率変数 X の分布 PX に次の特性関数を対応させた。
φX(t)=E[eitX]
そして独立和の特性関数が積になること、0 のまわりの Taylor 展開がモーメントを与えることを示した。
ところが第8章では、「特性関数が等しければ分布も等しい」という主張を証明せずに使った箇所がいくつかある。
- 積率母関数の一意性(第8章 §8.2)。
- 特性関数が実数値なら分布が対称であること(第8章 §8.3)。
- 独立和の分布をその特性関数から読み取る議論。
この章ではその主張を証明する。道具は、特性関数から分布を具体的に復元する公式である。
- §9.1 では、区間の確率を特性関数の積分で表す Lévy の反転公式を示す。
- §9.2 では、反転公式から一意性定理を導く。さらに Rd 値の確率ベクトルについても一意性を証明して、独立性を同時特性関数の分解で判定する基準を得る。
- §9.3 では、一意性定理と「独立和の特性関数は積」を組み合わせて、第6章・第7章で畳み込みの計算によって示した再生性を短く証明し直す。
- §9.4 では、第8章のキュムラントを多変数へ広げる。無相関であっても独立とは限らない2つの確率変数を4次のキュムラントで見分ける方法と、その応用である独立成分分析の原理を述べる。
この章で使う前の章の結果を、式の形で書いておく。第8章 §8.3 の特性関数の定義と基本性質から、
φX(t)=E[eitX]=∫ReitxPX(dx),φX(0)=1,∣φX(t)∣≤1,φaX+b(t)=eibtφX(at)(9.1)
を使う。X,Y が独立なら
φX+Y(t)=φX(t)φY(t)(9.2)
である(第8章 §8.3)。標準正規分布の特性関数が
∫−∞∞eitx2πe−x2/2dx=e−t2/2(t∈R)(9.3)
であることも第8章 §8.3 の例題で示した。第5章からは次の2つを借りる。
- 優収束定理:次の3つが成り立てば E[Yn]→E[Y] である。
Yn→Y (各点),∣Yn∣≤W,E[W]<∞
- Fubini の定理(第5章 §5.3):有限測度の積の上で可積分な関数は、積分の順序を交換してよい。
第3章 §3.3 からは「分布関数が等しければ分布も等しい」ことを借りる。原子(P(X=x)>0 となる点 x)が高々可算個であることも借りる。
この章の結果は次のように使われる。一意性定理は第13章 §13.1 の Lévy の連続性定理の証明の中で、極限の分布を特定する段階に使う。多変量の一意性は、第6章 §6.2 の多変量正規分布 Nd(μ,Σ) が平均と Σ だけで決まることを保証する。これは第13章 §13.3 の多変量の中心極限定理(Cramér–Wold の方法)の前提になる。
Dirichlet 積分
Fourier 解析では、関数 f の Fourier 変換と、そこから f を復元する逆変換を
f^(t)=∫eitxf(x)dx,f(x)=2π1∫e−itxf^(t)dt
の組で扱う。特性関数は分布の Fourier 変換なので、同じ式で密度を復元できそうに見える。
しかし分布は密度をもつとは限らず、特性関数は可積分とも限らない(たとえば原子をもつ分布の特性関数は ∣t∣→∞ で 0 に近づかない)。そこで、密度の値の代わりに区間の確率を復元する。その計算の中心にあるのが次の積分である。
Si(T):=∫0Txsinxdx(T≥0)(9.4)
被積分関数は x=0 で値 1 に連続に延長できる。よって Si は [0,∞) 上の連続関数である。Si(−T)=−Si(T) と約束して実数全体に広げる。
補題 9.1(Dirichlet 積分)
T→∞limSi(T)=2π である。また CSi:=supT∈R∣Si(T)∣<∞ である。さらに実数 θ と T>0 について
∫0Ttsinθtdt=Si(θT)(9.5)
が成り立つ。
証明
x>0 について x1=∫0∞e−uxdu である。これを代入すると
Si(T)=∫0T∫0∞sinxe−uxdudx
となる。被積分関数の絶対値の積分は
∫0T∫0∞∣sinx∣e−uxdudx=∫0Tx∣sinx∣dx≤T
と有限なので、Fubini の定理により積分の順序を交換できる。部分積分を2回行うと
∫0Te−uxsinxdx=1+u21−e−uT(usinT+cosT)
となる。右辺を T で微分すると e−uTsinT になる。また右辺は T=0 で 0 になる。この2点から確かめられる。したがって
Si(T)=∫0∞1+u2du−∫0∞1+u2e−uT(usinT+cosT)du(9.6)
である。第1項は 2π である。T≥1 では、第2項の被積分関数の絶対値は次のように抑えられる。
1+u2e−uT∣usinT+cosT∣≤1+u2e−u(1+u)≤1+u21
2つ目の不等号は eu≥1+u による。また被積分関数は各 u>0 で、T→∞ のとき 0 に収束する。優収束定理から第2項は 0 に収束し、Si(T)→2π を得る。
次に有界性を示す。Si は連続で、両側の無限遠で有限の極限 ±2π をもつ。
- 十分大きな R をとれば、∣T∣≥R の範囲で次が成り立つ。
∣Si(T)∣≤2π+1
- [−R,R] の上では、連続関数として有界である。
よって CSi<∞ である。
最後に (9.5) を θ の符号で場合分けして示す。
- θ>0 なら、x=θt と置換すれば得られる。
- θ=0 なら、両辺とも 0 である。
- θ<0 なら、正弦関数と Si がともに奇関数であることから従う。
Si は単調ではなく、2π のまわりで振動しながら近づく。最大値は T=π でとり、CSi=Si(π)≈1.8519 である。(9.5) と極限をまとめると、T→∞ のとき
π1∫0Ttsinθtdt=π1Si(θT)⟶21sgnθ=⎩⎨⎧210−21(θ>0)(θ=0)(θ<0)(9.7)
となる。θ=0 での値が 0 であることが、反転公式の端点に 21 が現れる理由になる。
反転公式
定理 9.2(Lévy の反転公式)
確率変数 X の特性関数を φ とする。実数 a<b について
T→∞lim2π1∫−TTite−ita−e−itbφ(t)dt=P(a<X<b)+21P(X=a)+21P(X=b)(9.8)
が成り立つ。とくに a,b が分布関数 F の連続点なら、右辺は次に等しい。
F(b)−F(a)
被積分関数は t=0 で定義されていないが、
ite−ita−e−itb=∫abe−itudu(9.9)
と書ける。よって t=0 での値を b−a と定めれば連続で、絶対値は区間の長さ以下である。したがって有限区間 [−T,T] の上の積分は問題なく定まる。
左辺の極限を T→∞ でとることが必要で、∫−∞∞ に置き換えることは一般にはできない。原子があると被積分関数は可積分でないからである。
証明
左辺の積分を IT と書く。φ(t)=E[eitX] を代入すると
IT=2π1∫−TTE[iteit(X−a)−eit(X−b)]dt
である。中身の絶対値は (9.9) により b−a 以下で、[−T,T]×Ω は有限測度の空間である。よって Fubini の定理により
IT=E[JT(X)],JT(x):=2π1∫−TTiteit(x−a)−eit(x−b)dt(9.10)
と期待値と積分を交換できる。
JT(x) を計算する。α=x−a、β=x−b と置く。指数関数を eitα=costα+isintα と実部と虚部に分けると
iteitα−eitβ=itcostα−costβ+tsintα−sintβ
となる。2つの項を別々に扱う。
- 第1項は t の奇関数である。∣costα−costβ∣≤∣t∣∣α−β∣ から有界でもあるので、対称な区間の上の積分は 0 である。
- 第2項は偶関数なので、[0,T] の上の積分の2倍になる。
(9.5) を使うと
JT(x)=π1∫0Ttsint(x−a)−sint(x−b)dt=π1(Si(T(x−a))−Si(T(x−b)))(9.11)
を得る。
この式から2つのことが分かる。
- すべての x と T で次の評価が成り立つ。
∣JT(x)∣≤π2CSi
2. (9.7) から T→∞ のとき
JT(x)⟶J(x):=21sgn(x−a)−21sgn(x−b)=⎩⎨⎧0211(x<a または x>b)(x=a または x=b)(a<x<b)
となる。たとえば x=a では、符号関数の値が次のようになる。
sgn(x−a)=0,sgn(x−b)=−1,J(a)=21
JT(X) は定数で抑えられ、各標本点で J(X) に収束する。よって優収束定理により
T→∞limIT=E[J(X)]=P(a<X<b)+21P(X=a)+21P(X=b)
を得る。a,b が F の連続点なら、端点の確率は 0 である(第3章 §3.3)。よって右辺は次に等しい。
P(a<X≤b)=F(b)−F(a)
図 9.1 に、区間を (a,b)=(0,1) としたときの JT(x) を示す。T が大きくなるにつれて、JT はこの区間の指示関数に近づく。端点での値は
JT(0)=JT(1)=π1Si(T)
で、T→∞ のとき 21 に近づく。
端点の近くには一定の高さのはみ出しが残る(Fourier 級数の Gibbs 現象と同じ現象である)。このはみ出しは JT の各点収束を妨げないので、証明には影響しない。

図 9.1 反転公式の核 JT(x)=π1(Si(Tx)−Si(T(x−1)))(a=0、b=1)。破線は T=10、太線は T=60。T→∞ で区間 (0,1) の指示関数に近づき、端点での値は極限値 21(点)に近づく。
密度の反転公式と原子の公式
特性関数が可積分なら、極限をとる必要がなくなり、密度そのものを復元できる。
定理 9.3(密度の反転公式)
∫−∞∞∣φ(t)∣dt<∞ なら、X は有界で連続な密度
f(x)=2π1∫−∞∞e−itxφ(t)dt(9.12)
をもつ。∣f(x)∣≤2π1∫∣φ∣dt である。
証明
まず原子がないことを示す。(9.8) の被積分関数は、(9.9) から (b−a)∣φ(t)∣ 以下である。これは実数全体の上で可積分なので、優収束定理により極限は全体の積分に置き換えられ、
P(a<X<b)+21P(X=a)+21P(X=b)=2π1∫−∞∞ite−ita−e−itbφ(t)dt(9.13)
となる。右辺の絶対値は 2πb−a∫∣φ∣dt 以下である。
点 x と h>0 を取る。区間を (a,b)=(x−h,x+h) とする。左辺は P(X=x) 以上なので
P(X=x)≤2π2h∫−∞∞∣φ(t)∣dt
である。h→0 として P(X=x)=0 を得る。原子がないので、(9.13) の左辺は F(b)−F(a) に等しい。
次に (9.12) の f を調べる。
- 被積分関数の絶対値は ∣φ∣ 以下で可積分なので、f は定まる。同じ評価から ∣f∣≤2π1∫∣φ∣ である。
- xn→x なら被積分関数は各 t で収束する。よって優収束定理から f は連続である。
(9.9) を (9.13) に代入する。[a,b]×R の上で e−ituφ(t) は可積分なので、Fubini の定理を使えて
F(b)−F(a)=2π1∫−∞∞(∫abe−itudu)φ(t)dt=∫abf(u)du
となる。
左辺は実数で非負である。もし Imf(u0)=0 や Ref(u0)<0 となる点があったとする。f の連続性から、その近くの小さな区間 [a,b] で右辺の虚部が 0 でないか実部が負になり、矛盾する。
よって f は実数値で非負であり、すべての区間で F(b)−F(a)=∫abf が成り立つ。a→−∞ とすれば F(b)=∫−∞bf となる。したがって f は X の密度である。
逆向きは成り立たない。一様分布 U(−1,1) は密度をもつが、その特性関数 tsint は可積分でない。実際
∫−∞∞∣t∣∣sint∣dt=∞
である。定理 9.3 の結論の密度は連続なので、密度に跳びがある分布の特性関数は可積分になりえない。
原子の確率も特性関数から読み取れる。
命題 9.4(原子の公式)
すべての実数 a について
P(X=a)=T→∞lim2T1∫−TTe−itaφ(t)dt.(9.14)
証明
被積分関数は絶対値 1 以下なので Fubini の定理が使え、右辺の積分は次に等しい。
E[2T1∫−TTeit(X−a)dt]
中の積分を実数 c について計算すると
2T1∫−TTeitcdt=⎩⎨⎧2T1∫−TTcostcdt=TcsinTc1(c=0)(c=0)
である。この関数は絶対値 1 以下である。
T→∞ のとき、この関数は 1{c=0} に収束する。つまり極限は、0 でない c では 0、c=0 では 1 である。c=X−a と置いて優収束定理を使うと、右辺の極限は E[1{X=a}]=P(X=a) になる。
整数値の確率変数では φ が周期 2π をもつ。よって (9.14) の平均は1周期の平均に一致し、
P(X=k)=2π1∫−ππe−iktφ(t)dt
となる。これは第8章の確認テスト 8.3-5 で直接示した式である。
例題 9.1 Laplace 分布から Cauchy 分布の特性関数を得る ★★
オリジナルLaplace 分布(密度 21e−∣x∣)の特性関数は 1+t21 である(第8章 §8.3)。
- 定理 9.3 を使い、∫−∞∞1+t2e−itxdt=πe−∣x∣ を示せ。
- (1) から、標準 Cauchy 分布 Cauchy(0,1) の特性関数が e−∣t∣ であることを導け。
- Cauchy(m,γ) の特性関数を求めよ。
解答
- φ(t)=1+t21 は ∫∣φ∣dt=π<∞ を満たす。定理 9.3 から X は連続な密度 2π1∫e−itxφ(t)dt をもつ。密度は Lebesgue 測度 Leb について a.e. の違いを除いて一意で、ここでは両方とも連続なので、すべての x で
21e−∣x∣=2π1∫−∞∞1+t2e−itxdt
である(連続な2つの関数が a.e. で等しければ、等しくない点の集合は開集合で測度 0 なので空集合である)。両辺に 2π を掛ければよい。2. (1) の式で、文字を2つ書き換える。点 x を −s に替える。さらに積分変数を x と書き直すと
∫−∞∞eisxπ(1+x2)1dx=π1⋅πe−∣−s∣=e−∣s∣
となる。左辺は標準 Cauchy 分布の特性関数 φ(s) の定義そのものである。留数定理を使わずに e−∣s∣ が得られた。3. X∼Cauchy(0,1) なら m+γX∼Cauchy(m,γ) である(密度の変換、第7章 §7.1)。(9.1) の最後の式から
φm+γX(t)=eimtφX(γt)=exp(imt−γ∣t∣)
である。
Laplace 分布の密度と Cauchy 分布の特性関数はどちらも e−∣⋅∣ の形で、Laplace 分布の特性関数と Cauchy 分布の密度はどちらも 1+(⋅)21 の形である。
例題 9.2 台が有界な特性関数 ★★
オリジナル三角形の密度 g(x)=(1−∣x∣)+((⋅)+ は正の部分)をもつ分布を考える。
- g の特性関数が次であることを示せ。
ψ(t)=t22(1−cost)(t=0),ψ(0)=1
2. ∫−∞∞t21−costdt=π を示せ。3. h(x)=πx21−cosx は確率密度で、その特性関数は (1−∣t∣)+ であることを示せ。
解答
- g は偶関数なので虚部は消え、
ψ(t)=2∫01(1−x)costxdx=2[t(1−x)sintx]01+t2∫01sintxdx=0+t2⋅t1−cost
となる(部分積分)。t→0 では 1−cost∼t2/2 である。よって ψ(t)→1=ψ(0) である。2. 0≤ψ(t)≤min(1,4/t2) なので ψ は可積分である。定理 9.3 の密度の公式 (9.12) を x=0 で使うと、g は連続なので(例題 9.1 (1) と同じ理由で)すべての点で一致し、
1=g(0)=2π1∫−∞∞ψ(t)dt=π1∫−∞∞t21−costdt
を得る。3. h≥0 で、(2) から ∫h=1 なので確率密度である。(9.12) を一般の x で書くと
(1−∣x∣)+=2π1∫−∞∞e−itxt22(1−cost)dt=∫−∞∞e−itxh(t)dt
である。点 x を −s と書く。さらに積分変数の名前を y に替えると、右辺は
∫−∞∞eisyh(y)dy
となり、密度 h の特性関数そのものになる。よって h の特性関数は (1−∣s∣)+ である。
特性関数 (1−∣t∣)+ は ∣t∣≥1 で 0 になる。一方で、h の裾は x−2 の程度なので、平均は存在しない。
∫−∞∞∣x∣h(x)dx=∞
特性関数が t=0 で尖っていて微分できないことと、平均が存在しないことが対応している。
確認テスト
オリジナル
- 9.1-1 定数 X=c の特性関数は eitc である。a=c<b のとき、(9.8) の左辺の積分を Si 関数で書け。また、その極限が 21 になることを確かめよ。
- 9.1-2 φ(t)=e−∣t∣ に密度の反転公式 (9.12) を使う。次の積分を直接計算して、右辺を得よ。
2π1∫−∞∞e−itxe−∣t∣dt=π(1+x2)1
3. 9.1-3 次の混合分布を考える。確率 21 で X=0 とする。残りの確率で X∼N(0,1) とする。その特性関数は
φ(t)=21+21e−t2/2
である。原子の公式 (9.14) を使い、P(X=0) と P(X=1) を求めよ。4. 9.1-4 X の原子を x1,x2,… とする。次を示せ。
T→∞lim2T1∫−TT∣φX(t)∣2dt=k∑P(X=xk)2
(ヒント:X と独立で同分布な Y をとる。その差の特性関数を考える。)
AI(Claude)が書いた教材を、木下が勉強しながら公開しています。式と数値は検算していますが、誤りが残っているかもしれません。誤りのご指摘・削除のご依頼をいただければ直します。 連絡先:support@tecktom.com