外れ値（アウトライアー）とは？

外れ値とは、ほかから遠く離れた位置にあるデータ点で、残りの値が作る模様よりずっと高いか低いものだ。それが重要なのは、極端な値が一つあるだけで平均を、データの大半がある場所から遠くへ引きずれるからだ。その平均の上に築いた決断は、実際には外れ値の上に築いている。数字だけでは、それをどうすべきかは言えない。間違いかもしれないし、一回限りのことかもしれないし、新しい模様の始まりかもしれず、その背後の物語を確かめて初めてどれかがわかる。

外れ値とは、データの集まりの中でほかの値から異常に遠く離れた値のことだ。それを定義するのは距離で、中心から二つか三つを超える標準偏差、と置かれることが多い。それをどうするかは別の問いで、答えは三種類ある。外れ値は間違いかもしれない。小数点の位置ずれ、壊れたセンサー、二度打った数字。間違いは訂正するか取り除く。本物だが繰り返さない何かが原因かもしれない。一回限りの出来事が一つの測定値を膨らませた。本物の一回限りは記録には残し、予測からは外す。ふつうの成り行きについて何も語らないからだ。あるいは本物で、変化の最初の兆しかもしれず、その場合は集まりの中でもっとも重要な値だ。数字そのものにはこれらを区別するものが何もない。二つのデータセットが正反対の理由で同じ外れ値を含みうるので、唯一誠実な対応は、行って何が起きたかを突き止めることだ。これを急を要するものにしているのは、平均が極端な値に敏感なことだ。とても大きな値が一つあるだけで平均はそちらへ引かれ、だから億万長者が一人いる部屋の平均所得は意味をなさず、だから中央値がある。

ある工場が十一か月間、月におよそ100個売り、それからひと月だけ900個売る。平均はいま167で、実際のどの月にも似ていない水準だ。そして誰かが工場を拡張すべきかと問う。答える前に、その900が何だったかを突き止める。ある顧客の注文が90ではなく900と入力されていたなら、数字を直して忘れる。注文は本物だったが、その月は競合の工場が止まっていて、その顧客たちが一度だけあなたから買ったのなら、記録には残し、計画からは外す。拡張はしない。だがその顧客が取引をすべて恒久的にあなたに移したなら、900は新しい標準で、工場は本当に大きくする必要がある。同じ外れ値、三つの異なる行動、そして数字だけではどれも選べなかった。