Was ist die statistische Power (Teststärke)?

Die statistische Power ist die Chance, dass eine Studie einen Effekt entdeckt, der wirklich existiert, etwa ein Medikament, das den Blutdruck um ein paar Punkte senkt. Vier Dinge legen diese Chance fest, bevor die Studie beginnt: wie viele Menschen gemessen werden (die Stichprobengröße), wie groß der Effekt ist, und wie stark die Messwerte von Person zu Person schwanken. Das vierte ist, wie streng die Schwelle ist, ab der ein Ergebnis als echt gilt. Mehr Menschen, ein größerer Effekt, weniger Schwankung und eine lockerere Schwelle treiben die Chance alle nach oben. Das Regelwerk für Arzneimittelstudien, die Leitlinie ICH E9, sagt den Forschern, sie sollen eine Wahrscheinlichkeit von 10 % bis 20 % hinnehmen, einen echten Effekt zu verpassen. Eine Studie, die 20 % hinnimmt, hat 80 % Power: Von fünf echten Effekten findet sie vier und verpasst einen, mit Absicht. Eine Studie mit wenig Power, die keinen Effekt findet, hat also nicht gezeigt, dass es keinen gibt. Die Frage an jedes „kein Effekt gefunden“ lautet, wie gut seine Chancen standen.

Die statistische Power ist die Wahrscheinlichkeit, dass eine Studie einen Effekt findet, der wirklich da ist. Der Effekt ist der gesuchte Unterschied: ein Medikament, das den Blutdruck um 5 Punkte senkt, sagen wir, gegenüber einer Tablette ohne Wirkstoff. Ihn zu finden heißt, dass das Ergebnis die Schwelle überschreitet, ab der es statistisch signifikant genannt wird, was üblicherweise bedeutet, dass der Zufall allein einen so großen Unterschied in weniger als 5 % der Fälle erzeugen würde. Einen echten Effekt zu verpassen ist ein falsch negatives Ergebnis, und die Power ist die Chance, diesen Fehlschlag zu vermeiden. Vier Eingaben legen sie fest. Erstens die Stichprobengröße: 400 Patienten geben eine bessere Chance als 40, weil der Durchschnitt vieler stabiler ist. Zweitens die Effektstärke: Ein Rückgang um 5 Punkte ist leichter zu sehen als einer um 1 Punkt. Drittens die Streuung: Wenn der Blutdruck von Patient zu Patient hin und her springt, verstecken sich echte 5 Punkte im Gewusel. Viertens die Schwelle: Eine strengere Messlatte lässt mehr echte Effekte durchfallen. Die Leitlinie ICH E9 für Arzneimittelstudien sagt den Forschern, sie sollen eine Wahrscheinlichkeit von 10 % bis 20 % für einen Fehlschlag hinnehmen, also 80 % bis 90 % Power (100 minus 20, 100 minus 10), und genug Menschen rekrutieren, um sie zu erreichen. Warum nicht 99 %? Weil es rund viermal so viele Teilnehmer braucht, um einen halb so großen Effekt zu finden. Eine Übersichtsarbeit von 2013 schätzte die Power von Studien in den Neurowissenschaften auf etwa 8 % bis 31 %, die meisten würden einen echten Effekt also öfter verpassen als finden. Dieselbe Arbeit wies auf versteckte Kosten hin: Die Effekte, die solche Studien finden, kommen übertrieben heraus, weil nur die Messwerte, die zufällig über das Ziel hinausschossen, die Schwelle überschritten haben. Ein Nullergebnis braucht also eine Frage: Welche Effektgröße hätte diese Studie finden können? Und ein gefundener Effekt braucht eine andere: Wie groß ist er, was die Effektstärke ist, eine eigene Sache. Bei der Power geht es darum, ob eine Studie den Unterschied sehen kann, nicht darum, wie viel er zählt.

Die statistische Power ist die Chance, dass eine Studie einen Effekt findet, der wirklich da ist, und ein Suchtrupp für einen entlaufenen Hund funktioniert genauso. Drei Nachbarn laufen eine Stunde durch den Wald und kommen mit nichts zurück. Dreißig Leute suchen bis zur Dunkelheit und kommen mit nichts zurück. Nur das zweite Nichts sagt dir viel darüber, ob der Hund in diesem Wald ist. Die Größe zählt auch: Drei Leute würden eine Deutsche Dogge entdecken, während dreißig an einem Dackel vorbeilaufen könnten, der still im hohen Farn liegt. Die Sucher und ihre Stunden sind die Stichprobengröße, die Größe des Hundes ist die Effektstärke, der Farn und das schwindende Licht sind die Streuung, und die Regel, ab wann er als gefunden gilt, ist die Schwelle. Eine dünne Suche, die nichts findet, sagt etwas über die Suche, nicht über den Hund. Hier endet die Entsprechung: Ein Hund kann weiterlaufen und ein Effekt nicht, und die Sucher erfahren irgendwann, ob der Hund da war, während eine Studie es nie erfährt.