Was ist P-Hacking?

P-Hacking heißt, dieselben Daten immer wieder auszuwerten, auf verschiedene, jeweils vertretbare Weisen, bis ein Ergebnis statistisch signifikant aussieht, und dann nur die Version zu berichten, die funktioniert hat. Nichts wird gefälscht, jede Zahl ist echt. Der Trick liegt darin, erst nach dem Blick auf die Antworten zu wählen. Drei Forscher zeigten damit in einem echten Experiment, dass ein Beatles-Song die Hörer 1,5 Jahre jünger machte, was kein Song kann, und genau das war der Punkt.

P-Hacking ist, viele Versionen einer Auswertung auf denselben Daten laufen zu lassen und die zu berichten, die die Schwelle zur statistischen Signifikanz überschritten hat, als wäre sie der einzige Test gewesen. Die Versionen entstehen aus ganz gewöhnlichen Entscheidungen. Ausreißer streichen oder behalten. Eine Kontrollvariable aufnehmen oder nicht. Die Datenerhebung jetzt beenden oder weitermachen. Jede Entscheidung lässt sich für sich verteidigen. Genau das macht die Praxis unsichtbar. Der Fehler liegt im Zeitpunkt. Eine Auswertung, die vor den Daten festgelegt wurde, ist ein Test. Dieselbe Auswertung, hinterher aus einem Menü von Versuchen gepickt, ist eine Suche, denn hinterher lässt den Zufall die Methode wählen. 2011 führten drei Forscher ein echtes Experiment mit Studierenden durch, um zu zeigen, wie leicht das geht. Eine Gruppe hörte einen Beatles-Song, die andere einen neutralen. Ehrlich berichtet sagten die Zahlen, die Beatles-Gruppe sei 1,5 Jahre jünger geworden, p = 0,040, was nicht wahr sein kann. Sie hatten jede Person außerdem ein Dutzend weitere Dinge gefragt, vom gefühlten Alter bis zum Alter des Vaters. Das Ergebnis überschritt die Schwelle nur, wenn man für das Alter des Vaters korrigierte. Ohne diese Korrektur p = 0,33, und da war nichts. Die Lösung ist, die Auswertung vor dem Hinsehen festzulegen und alles Probierte offenzulegen. P-Hacking ist etwas anderes als Publikationsbias, der entscheidet, welche fertigen Arbeiten gelesen werden. P-Hacking passiert, bevor die Arbeit existiert.

Du wiegst dich fünfmal, bevor du entscheidest, was du den Leuten erzählst. Nach dem Sport, vor dem Frühstück, ohne Schuhe, eine Hand am Handtuchhalter. Der niedrigste Wert gewinnt und wird dein offizielles Gewicht. Jede Zahl auf der Waage war echt. Die Lüge steckt im Aussuchen, denn du hast alle fünf gesehen, die schmeichelhafte behalten und die anderen nie erwähnt. P-Hacking ist genau dieser Griff, angewendet auf Forschungsdaten. Viele ehrliche Messungen, eine berichtet, und die Suche fehlt in der Geschichte.