順序統計量

数理統計　第5章 §5.4　★★★ 最小値・最大値・k 番目の値の厳密分布と、端点付近の極限分布。2025年 統計数理 問2 の手続き

定義と最大値・最小値

以下、母集団分布は連続で、分布関数 $F$、密度 $f$ を持つとする（同じ値が出る確率は0なので並べ替えは一意である）。

最大値と最小値の分布関数は、事象の言い換えだけで求まる。最大値が $x$ 以下であることは、全部が $x$ 以下であることと同じなので

$$P(X_{(n)}\le x)=F(x)^n,\qquad P(X_{(1)}>x)=\{1-F(x)\}^n .\tag{5.15}$$

微分すると、密度はそれぞれ $nF(x)^{n-1}f(x)$ と $n\{1-F(x)\}^{n-1}f(x)$ になる。

第 $k$ 順序統計量の密度

証明

$x$ を固定し、$N=\#\{i:X_i\le x\}$ とおく。事象 $\{X_i\le x\}$ は独立で、どれも確率 $F(x)$ で起きる。よって $N\sim\mathrm{Bin}(n,F(x))$。

事象 $X_{(k)}\le x$ と事象 $N\ge k$ は同じである。どちらも、観測値のうち少なくとも $k$ 個が $x$ 以下であることを言っている。よって $P(X_{(k)}\le x)=P(N\ge k)$ となり、(5.16) を得る。

$F=F(x)$ の関数として微分する。使う式は次の3つである。

$$\begin{aligned}\frac{\mathrm{d}}{\mathrm{d} F}\bigl\{F^j(1-F)^{n-j}\bigr\}&=jF^{j-1}(1-F)^{n-j}-(n-j)F^j(1-F)^{n-j-1},\\ \binom nj j&=n\binom{n-1}{j-1},\qquad \binom nj(n-j)=n\binom{n-1}{j}.\end{aligned}$$

これらから

$$\frac{\mathrm{d}}{\mathrm{d} F}\sum_{j=k}^n\binom nj F^j(1-F)^{n-j}=n\sum_{j=k}^n\binom{n-1}{j-1}F^{j-1}(1-F)^{n-j}-n\sum_{j=k}^{n-1}\binom{n-1}{j}F^{j}(1-F)^{n-1-j}.$$

2つの和を見比べる。

• 第1の和で $j-1=i$ と書き直すと、$i=k-1,\dots,n-1$ の和になる。
• 第2の和は、$i=k,\dots,n-1$ の同じ形の和である。

よって差は $i=k-1$ の項だけ残る（隣どうしが打ち消し合う）。導関数は $n\binom{n-1}{k-1}F^{k-1}(1-F)^{n-k}$ で、$n\binom{n-1}{k-1}=n!/\{(k-1)!(n-k)!\}$。最後に合成関数の微分で $\mathrm{d} F/\mathrm{d} x=f(x)$ を掛けて (5.17) を得る。

同じ数え方で、2つ以上の順序統計量の同時密度を書く。$i<j$ とする。$(X_{(i)},X_{(j)})$ の同時密度は、$x<y$ で次のようになる。

$$f_{(i),(j)}(x,y)=\frac{n!}{(i-1)!\,(j-i-1)!\,(n-j)!}F(x)^{i-1}\{F(y)-F(x)\}^{j-i-1}\{1-F(y)\}^{n-j}f(x)f(y).\tag{5.18}$$

全部の順序統計量の同時密度は、$x_1<\cdots<x_n$ で次のようになる。

$$n!\prod_{i=1}^n f(x_i) .$$

並べ替えたあとが同じになる元の並び順が $n!$ 通りあるためである。

一様分布の場合。

$\mathrm{U}(0,1)$ では $F(x)=x$ で、密度は1である。よって (5.17) はベータ分布の密度そのもので

$$X_{(k)}\sim\mathrm{Beta}(k,\,n-k+1),\qquad E[X_{(k)}]=\frac{k}{n+1}.\tag{5.19}$$

任意の連続分布 $F$ について $F(X_i)\sim\mathrm{U}(0,1)$ である（確率積分変換）。$F$ は単調で順序を保つので、$F(X_{(k)})\sim\mathrm{Beta}(k,n-k+1)$ も成り立つ。

指数分布の場合と間隔の独立性。

$\mathrm{Ex}(\lambda)$ では、順序統計量の同時密度は次のようになる。

$$n!\lambda^n\exp\Bigl(-\lambda\sum x_i\Bigr)\qquad(0<x_1<\cdots<x_n).$$

$X_{(0)}=0$ とおき、正規化した間隔を次で定める。

$$D_i=(n-i+1)(X_{(i)}-X_{(i-1)})\qquad(i=1,\dots,n).$$

証明

次の恒等式が成り立つ。

$$\sum_{i=1}^n x_i=\sum_{i=1}^n(n-i+1)(x_i-x_{i-1}).$$

右辺で $x_i$ の係数を集めると $(n-i+1)-(n-i)=1$ になるからである。よって同時密度は $n!\lambda^n\exp(-\lambda\sum d_i)$ と書ける。ヤコビアンは2段に分けて求める。

• $x\mapsto(x_i-x_{i-1})_i$ は、対角成分が1の三角行列による線形変換である。ヤコビアンは1。
• そのあとの $(n-i+1)$ 倍のヤコビアンは $n!$ である。

よって $(D_1,\dots,D_n)$ の密度は

$$\frac{n!\lambda^n\mathrm{e}^{-\lambda\sum d_i}}{n!}=\prod_i\lambda\mathrm{e}^{-\lambda d_i}\qquad(d_i>0).$$

これは独立な $\mathrm{Ex}(\lambda)$ の同時密度である。

指数分布の無記憶性で言い直すと、(5.20) は次の構造を表している。

1. 最初の故障までの時間は $n$ 個の最小値で、$\mathrm{Ex}(n\lambda)$ に従う。
2. その時点から、残り $n-1$ 個はまた新品と同じ状態から始まる。よって次の故障までは $\mathrm{Ex}((n-1)\lambda)$ に従う。

極値の極限分布

$n\to\infty$ で最小値は母集団分布の下端に、最大値は上端に近づく。近づき方を適当に拡大すると、非退化の極限分布が得られる。

証明

$t>0$ を固定する。(5.15) から

$$P\bigl(n(X_{(1)}-\theta)>t\bigr)=P\bigl(X_{(1)}>\theta+t/n\bigr)=\Bigl\{1-F\Bigl(\theta+\frac tn\Bigr)\Bigr\}^n=\Bigl\{1-\frac{ct}{n}+o\Bigl(\frac1n\Bigr)\Bigr\}^n\to\mathrm{e}^{-ct}.$$

最後は $n\log(1-ct/n+o(1/n))=-ct+o(1)$ による。$\mathrm{e}^{-ct}$ は $\mathrm{Ex}(c)$ の生存関数である。上端も同じ計算をする。

拡大の倍率が $\sqrt n$ でなく $n$ であることに注意する。端点の近くに観測値が来る確率は区間の長さに比例して小さいので、最小値は $1/n$ の速さで端点に近づく。$\bar X$ より速く収束するので、端点が母数になっている分布（一様分布 $\mathrm{U}(0,\theta)$、位置をずらした指数分布など）では、最小値や最大値に基づく推定が自然になる。

端点の無い分布では拡大の仕方が変わる。$\mathrm{Ex}(1)$ の最大値は $P(X_{(n)}-\log n\le x)=(1-\mathrm{e}^{-x}/n)^n\to\exp(-\mathrm{e}^{-x})$ となり、極限は Gumbel 分布である（確認テスト 5.4-5）。正規分布の最大値も、中心化と尺度の数列を適当に選ぶと Gumbel 分布に収束する。

確認テスト

オリジナル

1. 5.4-1 $\mathrm{U}(0,1)$ からの大きさ5の標本で、$P(X_{(5)}\le0.9)$ を求めよ。
2. 5.4-2 $\mathrm{U}(0,1)$ からの大きさ $n$ の標本を考える。次の2式を示せ。

$$E[X_{(k)}]=\frac{k}{n+1},\qquad V[X_{(k)}]=\frac{k(n-k+1)}{(n+1)^2(n+2)} .$$ 3. 5.4-3 $\mathrm{U}(0,1)$ からの大きさ3の標本を考える。中央値 $X_{(2)}$ の密度を求め、$P(X_{(2)}\le1/4)$ を計算せよ。4. 5.4-4 $\mathrm{U}(0,1)$ からの大きさ $n$ の標本を考える。範囲 $R=X_{(n)}-X_{(1)}$ の密度が次になることを、同時密度 (5.18) から導け。

$$n(n-1)r^{n-2}(1-r)\qquad(0<r<1).$$ 5. 5.4-5 $\mathrm{Ex}(1)$ からの標本を考える。$X_{(n)}-\log n$ が Gumbel 分布（分布関数 $\exp(-\mathrm{e}^{-x})$）に分布収束することを示せ。