Was ist die Replikationskrise?

Die Replikationskrise ist die Entdeckung, dass ein großer Teil der veröffentlichten Studien nicht dasselbe Ergebnis liefert, wenn andere Forscher sie noch einmal durchführen. Dieser zweite Durchlauf ist eine Replikation: dieselbe Methode, neue Teilnehmer, ein anderes Team. Jede einzelne Studie kann auf einem Zufallstreffer landen, also ist ein Durchlauf nie ein Beweis. Wie viele Zufallstreffer in den Druck gelangen, hängt davon ab, wie ein Fachgebiet arbeitet. Kleine Stichproben, eine Auswertung, die erst nach dem Blick auf die Daten gewählt wird, und Fachzeitschriften, die die überraschenden Treffer drucken und nicht die langweiligen Nullbefunde, lassen alle mehr durch, als der Zufall allein würde. 2015 wiederholte ein Team von Psychologen 100 veröffentlichte Studien aus dem eigenen Fach. Die Originale waren 97 Mal von 100 statistisch signifikant gewesen. Die Wiederholungen waren es 36 Mal, und die gefundenen Effekte waren etwa halb so groß. Eine gescheiterte Wiederholung zeigt nicht, dass das erste Ergebnis falsch war. Sie zeigt, dass ein Durchlauf ein schwacher Beleg war. Die Frage an jede Schlagzeile „Studie zeigt“ lautet also, ob es jemand zweimal gefunden hat.

Die Replikationskrise ist der Befund, gewonnen, als Forscher begannen, veröffentlichte Studien in großer Zahl zu wiederholen, dass viele nicht standhalten. Eine Replikation ist ein zweiter, unabhängiger Durchlauf: Ein anderes Team folgt der ursprünglichen Methode mit neuen Teilnehmern und sieht, ob das Ergebnis wiederkommt. Jahrzehntelang war das selten. Fachzeitschriften wollten neue Befunde statt Wiederholungen, und Karrieren wurden auf Entdeckungen gebaut, also wurde die Prüfung, auf die sich Forschung stützt, kaum je durchgeführt. Jede einzelne Studie kann einen Zufallstreffer landen, also ist ein Durchlauf nie ein Beweis. Wie viele Zufallstreffer in den Druck gelangen, hängt von drei Gewohnheiten ab. Eine kleine Stichprobe schwankt durch Zufall, also liegt eine kleine Studie öfter falsch. Erst nach dem Blick auf die Daten zu entscheiden, wie man sie auswertet, lässt das Glück die Methode wählen, das ist P-Hacking. Und Fachzeitschriften drucken die überraschenden Treffer, während Studien, die nichts fanden, unveröffentlicht bleiben, das ist Publikationsbias. 2011 begann eine Gruppe von 270 Forschern die größte Prüfung dieser Art. Sie wiederholten 100 Studien, die 2008 in drei Psychologie-Fachzeitschriften erschienen waren, wurden 2014 fertig und berichteten 2015. Von den Originalen waren 97 statistisch signifikant gewesen. Von den Wiederholungen waren es 36, und die gemessenen Effekte waren etwa halb so groß wie die Originale. Welche Ergebnisse standhielten, ließ sich an der Stärke des ersten Ergebnisses vorhersagen, nicht daran, wer die Wiederholung durchführte, und die überraschendsten Befunde hielten am wenigsten stand. Die Autoren fügten eine Warnung an: Eine gescheiterte Wiederholung heißt nicht, dass das Original ein falsch positives Ergebnis war, denn ein zweiter Durchlauf kann durch Zufall scheitern oder weil ein Detail der Methode eine Rolle spielte. Sie heißt, dass eine Studie ein schwacher Beleg ist. Die Reparaturen seither: die Auswertung aufschreiben, bevor Daten gesammelt werden (Präregistrierung), mehr Teilnehmer rekrutieren, Fachzeitschriften eine Studie anhand ihres Designs annehmen lassen, bevor Ergebnisse vorliegen, und die Daten teilen. Für Leser ist der Test für jeden Befund, ob jemand anderes ihn noch einmal bekommen hat.

Die Replikationskrise ist das, was ein Fachgebiet findet, wenn es seine veröffentlichten Studien wiederholt und viele nicht gleich herauskommen, und ein erster Abend beim Bowling zeigt, warum ein Ergebnis kein Niveau ist. Jemand bowlt zum ersten Mal und erzielt 180, und die Gruppe redet über nichts anderes. In den nächsten zehn Wochen liegt der Schnitt bei 110. Die 180 waren echt: Die Pins sind gefallen. Es war aber auch ein einzelnes Spiel, und ein Spiel mischt Können mit Glück, also war es ein schlechter Anhaltspunkt dafür, wie gut der Spieler ist. Erst die Wiederholungen zeigten das. Eine Liga, die erste Spiele aufzeichnet und nie die Wiederholungen, hätte ein Buch voller 180er, und ihre Mitglieder sähen weit besser aus, als sie sind. Ein Fachgebiet, das erste Ergebnisse veröffentlicht und sie selten wiederholt, hat dieses Buch. Die niedrigen Wiederholungen machen die 180 nicht zur Lüge, und eine gescheiterte Replikation macht die erste Studie nicht falsch. Hier endet die Entsprechung: Ein Bowler kann für den Preis einer Bahn wiederholen, und ein Experiment kann Jahre kosten, weshalb so wenige wiederholt wurden.