「シンプソンのパラドックス」とは？

シンプソンのパラドックス（Simpson's paradox）とは、合計したデータでは一方の向きを示す比較が、そのデータを構成するどのグループの中でも逆の向きを示すことだ。1973年、カリフォルニア大学バークレー校は大学院に出願した男性のおよそ44%、女性のおよそ35%を合格させた。9ポイントの開きである。学部ごとに見ると、この開きは消えていた。六つの学部は女性を男性より高い割合で合格させ、四つの学部はその逆だった。合計の数字が逆転したのは、女性の多くが入りにくい学部に、男性の多くが入りやすい学部に出願していたからだ。つまり合計は、男女それぞれがどの学部を選んだかを比べていたのであって、男女がどう扱われたかを比べていたのではない。これがパラドックスの一行要約だ。合計は、その部分の一つ一つと逆の向きを指すことがある。対策は、似たものどうしをグループごとに比べることだ。二つの側が同じ構成の案件に向き合っていなかったときは、いつでもそうする。

シンプソンのパラドックスとは、データをグループに分けると向きが逆転する比較のことだ。合計の数字ではある側が勝ち、どのグループの中でもその側が負ける。同時に二つのことが成り立っている必要がある。グループごとに難しさが違うこと、そして二つの側がグループに偏って配分されていること。一方は主に難しいグループに、他方は主に易しいグループにいる。そのとき合計の数字が測っているのは配分であって、側そのものではない。スマホ修理店が二つあり、それぞれ100件を引き受けるとする。A店は割れた画面100件のうち90件を直し、水没したスマホ100件のうち30件を直す。B店は画面100件のうち80件、水没100件のうち20件で、Aのほうがどちらも上だ。ところがAの100件は画面20件と水没80件で、18足す24で42件修理。Bの100件は画面80件と水没20件で、64足す4で68件修理。Bはどちらの種類の仕事でも負けながら合計で勝つ。Bに楽な仕事が回ったからだ。1973年のバークレーの大学院入試も同じ構造だった。全体では男性の44%が合格し女性は35%だったが、学部ごとに見れば、女性を優遇した学部のほうが男性を優遇した学部より多かった。女性は入りにくい学部に出願していたのだ。学部は交絡因子（confounding variable）、つまり比べているものと結果の両方に結びついた隠れた要因である。ただし、分ければ自動的に正直な見方になるわけではない。分け方が本当に難しさを決めているとき、故障の種類や学部がそうであるときに、分けるのは正しい。無関係なもので分ければ、逆向きの逆転をでっち上げることもできる。シンプソンのパラドックスは悪いデータの話でもない。どの数字も正しく、それでも合計は誤解を招く。偏った標本なら選択バイアスという別の問題だ。見抜くための問いはいつも同じである。二つの側は同じ構成の案件に向き合っていたか。

シンプソンのパラドックスとは、データをグループに分けると逆転する比較のことで、配達アプリ上の二軒のピザ屋は同じ発想だ。アプリによれば、A店は玄関まで平均32分、B店は26分で、Bのほうが速く見える。注文を距離で分けると、Aはどちらでも速い。近場の注文はAが18分でBが20分、遠方の注文はAが40分でBが45分。Aは町外れにあるので注文の大半が遠方で、Bは中心部にあるので注文の大半が近場だ。全体の平均が採点しているのは地図であって、厨房ではない。近場と遠方の注文がグループ、どちらでも速いAの時間が全グループで勝つ側、アプリの平均が合計、各店の場所が、逆転を起こす偏った配分だ。たとえはここで終わる。アプリでは地図が見えるが、研究では、グループを分けているものを誰かが思いつき、測っておかなければならない。