Jensen・Cauchy–Schwarz・Hölder の不等式

$\lambda=\frac{z-y}{z-x}\in(0,1)$ と置くと、

$$1-\lambda=\frac{y-x}{z-x},\qquad\lambda x+(1-\lambda)z=\frac{(z-y)x+(y-x)z}{z-x}=y$$

となる。凸性 (10.9) から $\psi(y)\le\lambda\psi(x)+(1-\lambda)\psi(z)$ である。両辺から $\psi(x)$ を引くと

$$\psi(y)-\psi(x)\le(1-\lambda)\bigl(\psi(z)-\psi(x)\bigr)=\frac{y-x}{z-x}\bigl(\psi(z)-\psi(x)\bigr)$$

となり、$y-x>0$ で割れば (10.10) の左の不等号を得る。同じ不等式を $\psi(z)$ から引くと

$$\psi(z)-\psi(y)\ge\lambda\bigl(\psi(z)-\psi(x)\bigr)=\frac{z-y}{z-x}\bigl(\psi(z)-\psi(x)\bigr)$$

となり、$z-y>0$ で割れば右の不等号を得る。

$x<x_0<z$ を満たす区間内の2点 $x,z$ をとる。区間は開いているので、$x_0$ の左右にこのような点がある。補題 10.6 をこの3点に使うと、左の傾きと右の傾きの間に

$$\frac{\psi(x_0)-\psi(x)}{x_0-x}\le\frac{\psi(z)-\psi(x_0)}{z-x_0}$$

が成り立つ。左辺を $x<x_0$ のすべてで考えた上限を $c$ と置く。右辺のどれか1つが上界になるので $c$ は有限で、すべての $x<x_0<z$ について

$$\frac{\psi(x_0)-\psi(x)}{x_0-x}\le c\le\frac{\psi(z)-\psi(x_0)}{z-x_0}$$

が成り立つ。この両側の不等式から、それぞれ次が得られる。

• 左の不等式に $x_0-x>0$ を掛けて移項すると、$\psi(x)\ge\psi(x_0)+c(x-x_0)$ である。
• 右の不等式に $z-x_0>0$ を掛けると、$\psi(z)\ge\psi(x_0)+c(z-x_0)$ である。

$x=x_0$ では (10.11) は等号である。

狭義凸の場合を示す。ある $x_1\ne x_0$ で (10.11) が等号になったとする。中点 $m=\frac{x_0+x_1}2$ では、狭義凸性から

$$\psi(m)<\frac{\psi(x_0)+\psi(x_1)}{2}=\frac{\psi(x_0)+\psi(x_0)+c(x_1-x_0)}{2}=\psi(x_0)+c(m-x_0)$$

となり、(10.11) の $x=m$ の場合に反する。

連続性を示す。$[\alpha,\beta]\subset I$ を閉区間とする。開区間なので、その中に閉区間の外側の点 $\alpha'<\alpha$ と $\beta'>\beta$ をとれる。$\alpha\le x<y\le\beta$ なら、補題 10.6 を繰り返し使って

$$\frac{\psi(\alpha)-\psi(\alpha')}{\alpha-\alpha'}\le\frac{\psi(y)-\psi(x)}{y-x}\le\frac{\psi(\beta')-\psi(\beta)}{\beta'-\beta}$$

となる。両端は $x,y$ によらない定数である。

その絶対値の大きい方を $L$ とすれば、$\left\vert \psi(y)-\psi(x)\right\vert \le L\left\vert y-x\right\vert$ である。したがって $\psi$ は $[\alpha,\beta]$ 上で連続である。閉区間は任意だから、$\psi$ は開区間全体で連続である。

まず $m=E[X]\in I$ を示す。$I=(\alpha,\beta)$（$-\infty\le\alpha<\beta\le\infty$）と書く。左端 $\alpha$ が有限なら、$X-\alpha>0$ a.s. なので、その期待値は非負である。もし $E[X-\alpha]=0$ なら、(10.1) から $X=\alpha$ a.s. となり、仮定に反する。

したがって $m>\alpha$ である。同様に、右端が有限なら $m<\beta$ である。

補題 10.7 を $x_0=m$ で使い、傾き $c$ をとる。$X$ はほとんど確実に区間内にあるので、ほとんどすべての標本点で

$$\psi(X)\ge\psi(m)+c\,(X-m)\tag{10.13}$$

が成り立つ。右辺は可積分な確率変数である。したがって $\psi(X)$ の負の部分は、$\left\vert \psi(m)\right\vert +\left\vert c\right\vert \,\left\vert X-m\right\vert$ で抑えられて可積分となる。よって期待値 $E[\psi(X)]=E[\psi(X)^+]-E[\psi(X)^-]$ は、$(-\infty,\infty]$ の値として定まる。(10.13) の期待値をとると

$$E[\psi(X)]\ge\psi(m)+c\,(E[X]-m)=\psi(m)$$

を得る。

等号の場合を示す。$E[\psi(X)]=\psi(m)<\infty$ とする。このとき、次の非負の確率変数の期待値は 0 である。

$$Y=\psi(X)-\psi(m)-c(X-m)$$

(10.1) から $Y=0$ a.s. である。補題 10.7 の狭義凸の場合から、$Y(\omega)=0$ となるのは $X(\omega)=m$ のときに限る。したがって $X=m$ a.s. である。

$\left\Vert X\right\Vert _s=\infty$ なら示すことはないので、$E[\left\vert X\right\vert ^s]<\infty$ とする。$Y=\left\vert X\right\vert ^r$ と置く。

• $\left\vert X\right\vert \le1$ のところでは $Y\le1$ である。
• $\left\vert X\right\vert >1$ のところでは $Y\le\left\vert X\right\vert ^s$ である。

よって $Y\le1+\left\vert X\right\vert ^s$ であり、$Y$ は可積分である。指数 $s/r$ は 1 より大きいので、関数 $\psi(y)=\left\vert y\right\vert ^{s/r}$ は凸である。Jensen の不等式から

$$\bigl(E[\left\vert X\right\vert ^r]\bigr)^{s/r}=\psi\bigl(E[Y]\bigr)\le E[\psi(Y)]=E[\left\vert X\right\vert ^s]$$

を得る。両辺を $1/s$ 乗すると $\left\Vert X\right\Vert _r\le\left\Vert X\right\Vert _s$ である。

$a=0$ または $b=0$ なら、左辺は 0 で右辺は非負である。等号は $a=b=0$ のとき、すなわち $a^p=b^q$ のときに限る。

以下 $a,b>0$ とする。次の2点分布に従う確率変数 $Z$ を考える。

$$P(Z=a^p)=\frac1p,\qquad P(Z=b^q)=\frac1q$$

狭義凸関数 $-\log$ に Jensen の不等式を使う。$E[Z]=\frac{a^p}{p}+\frac{b^q}{q}$ であり、

$$\log\Bigl(\frac{a^p}p+\frac{b^q}q\Bigr)=\log E[Z]\ge E[\log Z]=\frac1p\log a^p+\frac1q\log b^q=\log a+\log b=\log(ab)$$

となる。対数は狭義増加なので (10.15) を得る。等号は $Z$ がほとんど確実に定数のとき、すなわち $a^p=b^q$ のときに限る。

$\left\Vert X\right\Vert _p=0$ なら、(10.1) から $X=0$ a.s. である。よって $XY=0$ a.s. で、左辺は 0 である。$\left\Vert Y\right\Vert _q=0$ の場合も同じである。右辺の一方が無限大で他方が正なら、示すことはない。そこで2つのノルムがともに正で有限であるとし、

$$U=\frac{\left\vert X\right\vert }{\left\Vert X\right\Vert _p},\qquad V=\frac{\left\vert Y\right\vert }{\left\Vert Y\right\Vert _q}$$

と置く。$E[U^p]=E[\left\vert X\right\vert ^p]/\left\Vert X\right\Vert _p^p=1$ で、同様に $E[V^q]=1$ である。各標本点で Young の不等式を使うと $UV\le\frac{U^p}{p}+\frac{V^q}{q}$ なので、期待値をとって

$$\frac{E[\left\vert XY\right\vert ]}{\left\Vert X\right\Vert _p\left\Vert Y\right\Vert _q}=E[UV]\le\frac{E[U^p]}{p}+\frac{E[V^q]}{q}=\frac1p+\frac1q=1$$

を得る。両辺に $\left\Vert X\right\Vert _p\left\Vert Y\right\Vert _q$ を掛ければ (10.16) である。

$p=1$ の場合は、各点の三角不等式 $\left\vert X+Y\right\vert \le\left\vert X\right\vert +\left\vert Y\right\vert$ の期待値をとればよい。以下 $p>1$ とし、右辺が有限である場合を考える（無限なら示すことはない）。

まず左辺が有限であることを確かめる。各点で $\left\vert X+Y\right\vert \le2\max(\left\vert X\right\vert ,\left\vert Y\right\vert )$ なので

$$\left\vert X+Y\right\vert ^p\le2^p\max(\left\vert X\right\vert ,\left\vert Y\right\vert )^p\le2^p\bigl(\left\vert X\right\vert ^p+\left\vert Y\right\vert ^p\bigr)$$

であり、$E[\left\vert X+Y\right\vert ^p]<\infty$ となる。次に、次のように2つに分ける。

$$\left\vert X+Y\right\vert ^p=\left\vert X+Y\right\vert \cdot\left\vert X+Y\right\vert ^{p-1}\le\left\vert X\right\vert \,\left\vert X+Y\right\vert ^{p-1}+\left\vert Y\right\vert \,\left\vert X+Y\right\vert ^{p-1}$$

$q=\frac{p}{p-1}$ を共役な指数とすると $(p-1)q=p$ なので、Hölder の不等式から

$$E\bigl[\left\vert X\right\vert \,\left\vert X+Y\right\vert ^{p-1}\bigr]\le\left\Vert X\right\Vert _p\,\bigl(E[\left\vert X+Y\right\vert ^{(p-1)q}]\bigr)^{1/q}=\left\Vert X\right\Vert _p\,\bigl(E[\left\vert X+Y\right\vert ^p]\bigr)^{1-1/p}$$

である。$Y$ についても同じ評価をして足すと

$$E[\left\vert X+Y\right\vert ^p]\le\bigl(\left\Vert X\right\Vert _p+\left\Vert Y\right\Vert _p\bigr)\bigl(E[\left\vert X+Y\right\vert ^p]\bigr)^{1-1/p}$$

となる。$E[\left\vert X+Y\right\vert ^p]=0$ なら (10.17) は明らかである。そうでなければ、両辺を有限の正の数 $\bigl(E[\left\vert X+Y\right\vert ^p]\bigr)^{1-1/p}$ で割って

$$\bigl(E[\left\vert X+Y\right\vert ^p]\bigr)^{1/p}\le\left\Vert X\right\Vert _p+\left\Vert Y\right\Vert _p$$

を得る。

$A=\{X>\theta E[X]\}$ と置き、$X=X\mathbf 1_{A^c}+X\mathbf 1_A$ と分ける。

• 補集合の上では $X\le\theta E[X]$ なので、$E[X\mathbf 1_{A^c}]\le\theta E[X]$ である。
• $E[X\mathbf 1_A]$ には Cauchy–Schwarz の不等式 (10.2) を使う。$E[\mathbf 1_A^2]=P(A)$ に注意する。

2つを合わせると

$$E[X]=E[X\mathbf 1_{A^c}]+E[X\mathbf 1_A]\le\theta E[X]+\sqrt{E[X^2]\,P(A)}$$

を得る。移項すると $(1-\theta)E[X]\le\sqrt{E[X^2]P(A)}$ である。両辺は非負なので、2乗して2次モーメントで割れば (10.18) である。