箱ひげ図と幹葉図

統計学の復習　第1章 §1.5　★★ 5数要約・四分位範囲・1.5 IQR の外れ値基準。正規分布で基準の意味を確かめる

四分位数と5数要約

データを小さい順に並べ、中央値で下半分と上半分に分ける。下半分の中央値を第1四分位数 $Q_1$、上半分の中央値を第3四分位数 $Q_3$ と呼ぶ。中央値が $Q_2$ にあたる。$n$ が奇数のときは、中央値そのものは下半分にも上半分にも入れない。この定め方をヒンジ法と呼び、この章ではこれを四分位数の定義とする。

四分位数の定め方はほかにもある。たとえば順序統計量の間を線形補間して $p$ 分位点を $x_{(1+(n-1)p)}$（添字が整数でなければ前後の値の間を比例配分）とする方法があり、表計算ソフトの既定の関数はこちらを使うことが多い。2つの方法では $n$ が小さいと値が食い違うので、問題文が定め方を指定していればそれに従う。どの方法も $n\to\infty$ では母集団の分位点 $F^{-1}(1/4)$、$F^{-1}(3/4)$ に近づく。

最小値・$Q_1$・中央値・$Q_3$・最大値の5つを5数要約と呼ぶ。$Q_3-Q_1$ を四分位範囲（IQR）と呼び、データの中央の半分が占める幅を表す。四分位範囲は最大値や最小値を動かしても変わらないので、外れた値に影響されにくい散らばりの指標である。

箱ひげ図と外れ値の基準

箱ひげ図は、$Q_1$ から $Q_3$ までを箱で描き、箱の中の中央値の位置に線を引き、箱の両端から「ひげ」を伸ばした図である。ひげの伸ばし方には2通りある。

1. ひげを最小値と最大値まで伸ばす（5数要約をそのまま描く）。
2. 柵（フェンス）と呼ぶ境界 $Q_1-1.5\,\mathrm{IQR}$ と $Q_3+1.5\,\mathrm{IQR}$ を定め、柵の外にある値を外れ値として点で描き、ひげは柵の内側にあるデータのうちで最も外側の値まで伸ばす。

2つ目の描き方では、ひげの端は柵の位置ではなく、柵の内側にある実際のデータの値である。ひげの端を最小値・最大値と読むのも、柵の値と読むのも誤りになる。

箱の中で中央値が左（下）に寄り、右（上）のひげが長いとき、分布は右に歪んでいる。複数の群の箱ひげ図を並べると、中心の位置・散らばり・歪みを一度に比べることができる。

係数 $1.5$ の意味は、データが正規分布に従うときに柵の外に出る確率を計算すると分かる。

つまり $1.5\,\mathrm{IQR}$ の基準は、正規分布のデータなら1000個に7個程度しか外れ値と判定しない、かなり外側に引いた線である。平均 $\pm3\sigma$ の外（確率約 $0.27\%$）とおおむね同じ厳しさだが、四分位数から作るので外れ値そのものに引きずられない点が異なる。平均と標準偏差は外れ値に引かれて大きくなるので、「平均 $\pm3\sigma$」の基準は、外れ値があるほど外れ値を見逃しやすい。一方、分布が右に歪んでいると、正規分布より多くの値が上の柵の外に出る（章末の総合問題で指数分布について計算する）。外れ値と判定された値は、記録の誤りか、本当に珍しい値かを確かめる対象であって、機械的に捨ててよい値ではない。

幹葉図

幹葉図は、各データの上位の桁を「幹」、最下位の桁を「葉」として、幹ごとに葉を小さい順に並べた図である。たとえば $23$ は幹 $2$・葉 $3$ と書く。葉の並びの長さが度数に当たるので、幹葉図を横に倒すとヒストグラムと同じ形が見える。ヒストグラムと違い、元のデータの値（最下位の桁まで）が図から復元できるので、中央値や四分位数を図から直接数えることができる。2つの群の幹を共有し、葉を左右に伸ばした図（背中合わせの幹葉図）は、2群の分布の比較に使う。

図 1.3　例題 1.6 の箱ひげ図。上のひげは柵（破線）の位置でなく、柵の内側の最大の値 $38$ で止まる。

確認テスト

オリジナル

1. 1.5-1 データ $4,7,8,10,12,13,15,18,21,40$ について、ヒンジ法で5数要約・IQR・柵を求め、外れ値と上のひげの端を答えよ。
2. 1.5-2 (a) 正規分布で、柵を $Q_1-k\,\mathrm{IQR}$、$Q_3+k\,\mathrm{IQR}$ としたとき、柵の外に出る確率がちょうど $5\%$ になる $k$ を求めよ（$z_{0.025}=1.960$、$z_{0.25}=0.6745$）。(b) 区間 $(0,1)$ 上の一様分布では、$k=1.5$ の柵の外に出る確率はいくらか。
3. 1.5-3 次の幹葉図（幹＝十の位）から元のデータを書き出し、ヒンジ法で中央値・$Q_1$・$Q_3$・IQR を求め、外れ値があるかを判定せよ。

   2	3 7
   3	0 2 5 8
   4	1 1 4 6 9
   5	2 5
   6	0

4. 1.5-4 $n\ge6$ のデータで最大値 $x_{(n)}$ だけを $x_{(n)}+\Delta$（$\Delta>0$）に変える。平均は $\Delta/n$ だけ増え、中央値と $Q_1$・$Q_3$（ヒンジ法）は変わらないことを示せ。$n=4$ では $Q_3$ がどう変わるか。