Was ist das Simpson-Paradoxon?

Das Simpson-Paradoxon ist ein Vergleich, der in den zusammengefassten Daten in die eine Richtung zeigt und innerhalb jeder Gruppe, aus der die Daten bestehen, in die andere. 1973 nahm die University of California in Berkeley etwa 44 % der Männer auf, die sich für ein Aufbaustudium bewarben, und etwa 35 % der Frauen, eine Lücke von 9 Punkten. Fachbereich für Fachbereich betrachtet war die Lücke weg: Sechs Fachbereiche nahmen Frauen zu einem höheren Anteil auf als Männer, und vier taten das Gegenteil. Die Gesamtzahl kippte, weil Frauen sich überwiegend bei Fachbereichen beworben hatten, in die man schwer hineinkam, und Männer überwiegend bei leichten. Die Summe verglich also, welche Fachbereiche jedes Geschlecht gewählt hatte, nicht, wie jedes Geschlecht behandelt wurde. Das ist das Paradoxon in einer Zeile: Die Summe kann in die entgegengesetzte Richtung zeigen wie jeder einzelne ihrer Teile. Die Lösung ist, Gleiches mit Gleichem zu vergleichen, Gruppe für Gruppe, immer wenn die beiden Seiten nicht derselben Mischung von Fällen gegenüberstanden.

Das Simpson-Paradoxon ist ein Vergleich, der sich umkehrt, wenn die Daten in Gruppen aufgeteilt werden: Eine Seite gewinnt in der Gesamtzahl und verliert innerhalb jeder Gruppe. Zwei Dinge müssen zugleich gelten: Die Gruppen unterscheiden sich in der Schwierigkeit, und die beiden Seiten sind ungleich über sie verteilt, die eine überwiegend in der schweren Gruppe, die andere überwiegend in der leichten. Dann misst die Gesamtzahl die Verteilung, nicht die Seiten. Zwei Handy-Reparaturläden nehmen je 100 Aufträge an. Laden A repariert 90 von je 100 gesprungenen Displays und 30 von je 100 Wasserschäden. Laden B repariert 80 von je 100 Displays und 20 von je 100 Wasserschäden, A ist also in beidem besser. Aber die 100 Aufträge von A sind 20 Displays und 80 Wasserschäden: 18 plus 24 sind 42 repariert. Die von B sind 80 Displays und 20 Wasserschäden: 64 plus 4 sind 68 repariert. B gewinnt die Summe und verliert beide Auftragsarten, weil B die leichte Arbeit bekommen hat. Berkeleys Zulassungen zum Aufbaustudium 1973 hatten dieselbe Struktur. Insgesamt wurden 44 % der Männer gegenüber 35 % der Frauen aufgenommen, und doch bevorzugten Fachbereich für Fachbereich mehr Fachbereiche Frauen als Männer. Frauen hatten sich bei den Fachbereichen beworben, in die man schwer hineinkam. Der Fachbereich ist eine Störvariable (ein Confounder), ein versteckter Faktor, der sowohl mit dem Verglichenen als auch mit dem Ergebnis verbunden ist. Aufteilen ist allerdings nicht automatisch die ehrliche Sicht. Es ist richtig, wenn die Gruppierung die Schwierigkeit wirklich bestimmt, wie Schadensart und Fachbereich es tun, und Aufteilen nach etwas Belanglosem kann ein Kippen in die andere Richtung fabrizieren. Das Simpson-Paradoxon sind auch keine schlechten Daten: Jede Zahl darin ist korrekt, und die Summe führt trotzdem in die Irre. Eine verzerrte Stichprobe ist Selektionsverzerrung, ein anderes Problem. Die Frage, die es erwischt, ist immer dieselbe: Standen die beiden Seiten derselben Mischung von Fällen gegenüber?

Das Simpson-Paradoxon ist ein Vergleich, der kippt, wenn die Daten in Gruppen aufgeteilt werden, und zwei Pizzerien in einer Liefer-App sind dieselbe Idee. Die App sagt, Laden A braucht im Schnitt 32 Minuten bis zu deiner Tür und Laden B 26, also wirkt B schneller. Teil die Bestellungen nach Entfernung auf, und A ist in beidem schneller: 18 Minuten gegen 20 bei B für nahe Bestellungen und 40 gegen 45 bei B für weite. A sitzt am Stadtrand, also sind die meisten seiner Bestellungen weit, und B sitzt im Zentrum, also sind die meisten seiner nah. Der Gesamtdurchschnitt benotet die Landkarte, nicht die Küchen. Die nahen und weiten Bestellungen sind die Gruppen, As schnellere Zeit in jeder ist die Seite, die jede Gruppe gewinnt, der App-Durchschnitt ist die Summe, und wo jeder Laden sitzt, ist die ungleiche Verteilung, die es kippen lässt. Hier endet die Entsprechung: In der App siehst du die Landkarte, während in der Forschung das, was die Gruppen trennt, erst gedacht und gemessen werden muss.