Was ist Publikationsbias?

Publikationsbias ist die Tendenz, dass Studien, die einen Effekt finden, veröffentlicht werden, während Studien, die nichts finden, unveröffentlicht bleiben, sodass die veröffentlichte Literatur Effekte echter und größer aussehen lässt, als sie sind. Niemand muss betrügen. Fachzeitschriften bevorzugen Ergebnisse, Forscher wissen das, und Nullbefunde werden nie aufgeschrieben. Wer nur das Veröffentlichte liest, sieht die Siege und wenige der Niederlagen. Der ältere Name dafür ist das Schubladenproblem.

Publikationsbias ist eine Verzerrung der veröffentlichten Forschungsliteratur, die entsteht, weil Studien mit positiven Ergebnissen eher veröffentlicht werden als Studien, die keinen Effekt finden. Der Mechanismus läuft über gewöhnliche Anreize, nicht über Betrug. Eine Studie, die zeigt, dass ein Medikament wirkt, gibt Lesern etwas zum Nutzen und Zitieren, also nimmt eine Zeitschrift sie an. Eine Studie, die zeigt, dass das Medikament nichts tut, liest sich wie keine Geschichte, also wird sie abgelehnt oder nie eingereicht. Forscher lernen das und hören auf, Nullbefunde aufzuschreiben, und diese Studien wandern in eine Schublade: Der ältere Name ist das Schubladenproblem. Wer die Literatur liest, sieht dann eine verzerrte Stichprobe. Wenn zehn Studien zu einer Behandlung durchgeführt und die zwei positiven veröffentlicht wurden, sieht die Behandlung bewiesen aus, obwohl acht von zehn nichts fanden, und keine einzige Arbeit musste falsch sein. Der Bias ist schwer zu sehen, weil die fehlenden Studien fehlen: Niemand kann zählen, was nie veröffentlicht wurde. Die wichtigste Verteidigung ist, sie zählbar zu machen. Eine Studie zu registrieren, bevor sie beginnt, hinterlässt eine Aufzeichnung jedes unternommenen Versuchs, sodass jeder, der die Belege später prüft, sehen kann, wie viele Studien gelaufen sind, und fragen kann, wo der Rest geblieben ist.

Ein Freund, der jedes Wochenende Poker spielt, erzählt dir von den Abenden, an denen er gewinnt. Großer Pot, cleverer Bluff, geht mit dem Geld des Tisches nach Hause. Die anderen Abende erwähnt er nie, und nicht, weil er lügt: Niemand erzählt die Geschichte, wie er still vierzig Dollar verlor und ins Bett ging. Hör ihm ein Jahr zu, und du würdest auf ihn gegen jeden setzen. Seine tatsächliche Bilanz ist nahe null. Die Gewinnabende sind echt. Es sind die fehlenden Abende, die dich täuschen, und du kannst sie nicht sehen, weil sie nie erzählt wurden. Veröffentlichte Forschung funktioniert genauso, und die fehlenden Abende sind die Studien, die nichts fanden.