外れ値

統計学の復習　第16章 §16.4　★★ 外れ値は機械的に消さず原因を調べる。平均と標準偏差は外れ値に引きずられるので、$\lvert z\rvert >3$ の規則は小さな標本では外れ値を見逃す

外れ値とその扱い

ほかの値から大きく離れた値を外れ値と呼ぶ。外れ値の原因は大きく2つに分かれる。1つは記録や測定の誤り（桁の打ち間違い、単位の取り違え、装置の故障）で、もう1つは誤りではない本物の値（まれな事象、別の母集団から混入した個体）である。前者なら修正するか除くのが正しく、後者なら除くと母集団の重要な性質を見落とすことになる。どちらであるかはデータだけからは決まらないので、外れ値を見つけたら、まず記録をさかのぼって原因を調べる。基準を超えたから自動的に削除する、という扱いは避ける。除いた場合は、除いたことと理由を報告に書く。

外れ値を見つける2つの基準

第1章 §1.5 の箱ひげ図では、第1四分位数 $Q_1$、第3四分位数 $Q_3$、四分位範囲 $\mathrm{IQR}=Q_3-Q_1$ を使い、

$$x<Q_1-1.5\,\mathrm{IQR}\quad\text{または}\quad x>Q_3+1.5\,\mathrm{IQR}$$

を外れ値の候補とした。正規分布ではこの柵は $\mu\pm2.698\sigma$ に当たり、柵の外に出る確率は約 $0.70\%$ である（第1章）。もう1つの基準は、標準化した値 $z_i=(x_i-\bar x)/s$ の絶対値が $3$ を超えるものを候補とする規則である。正規分布で $\lvert Z\rvert >3$ となる確率は $0.27\%$ である。

2つの基準の違いは、使う代表値と散らばりの指標が外れ値の影響を受けるかどうかにある。四分位数は値の順位だけで決まるので、最大値をどれだけ大きくしても $Q_3$ は動かない。これに対して $\bar x$ と $s$ は全部の値の和から計算するので、外れ値そのものに引きずられる。外れ値が $\bar x$ を自分の側に引き寄せ、$s$ を大きくするので、その外れ値の $z$ の値は小さくなってしまう。この現象をマスキングと呼ぶ。小さな標本では、マスキングは次の不等式で上限まで決まる。

$n=10$ では右辺は $9/\sqrt{10}=2.846$ で、$3$ より小さい。したがって $n\le10$ のデータでは、どれほど極端な値があっても $\lvert z\rvert >3$ の規則は1つも外れ値を見つけることができない。右辺が $3$ を超えるのは $n\ge11$ からである。小さな標本では、外れ値の判定に四分位数のように外れ値の影響を受けにくい指標（頑健な指標）を使うか、疑わしい値を除いた残りの $\bar x$ と $s$ で測り直す方がよい。

確認テスト

オリジナル

1. 16.4-1 外れ値が見つかったとき、基準を超えた値を自動的に削除してはいけない理由を、外れ値の2種類の原因に触れて述べよ。
2. 16.4-2 命題 16.7 の上限 $(n-1)/\sqrt n$ が $3$ を超える最小の $n$ を求めよ。また、等号が成り立つのはどのようなデータかを答えよ。
3. 16.4-3 データ $3,5,6,6,7,8,9,25$ について、(1) と同じ四分位数の求め方で $1.5\,\mathrm{IQR}$ の柵を求め、外れ値の候補を答えよ。さらに $25$ の $z$ の値を求めて、命題 16.7 の上限と比べよ。
4. 16.4-4 データの最大値だけを限りなく大きくしていくと、平均・標準偏差・中央値・四分位範囲はそれぞれどうなるか。$n\ge5$ として答えよ。