Was ist der Basisratenfehler (Prävalenzfehler)?

Der Basisratenfehler ist, die Bedeutung eines Testergebnisses daran zu beurteilen, wie gut der Test ist, und dabei zu vergessen, wie selten die Sache ist, nach der er sucht. Die Basisrate ist diese Seltenheit: wie viele Menschen die Krankheit haben, bevor irgendjemand getestet wird. Nimm eine Krankheit, die 1 Mensch von 1.000 hat, und einen Test, der jeden echten Fall erwischt und 5 % der Gesunden fälschlich markiert. Stell 1.000 Menschen auf. Der eine Kranke wird markiert. Von den 999 Gesunden sind 5 % etwa 50, und die werden auch markiert. Also halten 51 Menschen ein positives Ergebnis in der Hand, und einer von ihnen ist krank: Ein positives Ergebnis stimmt in etwa 2 % der Fälle. Der Test ist nicht schlecht. Ein Ausrutscher von 5 % ist klein. Er entscheidet die Antwort nur, weil es einen echten Fall zu finden gibt und 999 Gelegenheiten auszurutschen, sodass die Fehlalarme den einen echten Fall fünfzig zu eins übertreffen. Ein 95 % genauer Test für eine Krankheit bei 1 von 1.000: Ein positives Ergebnis stimmt in etwa 2 % der Fälle. Zähl die Menge, bevor du dem Signal vertraust.

Der Basisratenfehler ist, ein Ergebnis allein nach der Stärke des Belegs zu lesen und die Zahl fallen zu lassen, die am meisten zählt: wie häufig die Sache war, bevor der Beleg kam. Diese Zahl ist die Basisrate. 2014 stellten Forscher an einem Bostoner Krankenhaus 61 Ärzten und Medizinstudenten eine Frage. Eine Krankheit betrifft 1 Menschen von 1.000. Ein Test dafür erwischt jeden echten Fall und hat eine Falsch-positiv-Rate von 5 %, das heißt, er markiert 5 % der Menschen, die die Krankheit nicht haben. Eine Person wird positiv getestet. Wie hoch ist die Chance, dass sie die Krankheit hat? Zähl es in Menschen. Von 1.000 Getesteten hat einer die Krankheit und wird markiert. Die anderen 999 haben sie nicht, und 5 % von ihnen, etwa 50, werden trotzdem markiert. Das sind 51 positive Ergebnisse, eines davon echt: etwa 2 %. Vierzehn der 61 lagen richtig, und 27 antworteten 95 %. Dieselbe Frage brachte 1978 dasselbe Ergebnis: 11 richtig von 60. Was die Leute verwirrt, ist, dass zwei Prozentzahlen beide wahr sind. Der Test liegt nur bei 5 % der Gesunden falsch, was bescheiden ist. Und doch sind 98 % seiner positiven Ergebnisse falsch, weil die gesunde Menge 999 Mal so groß ist wie die kranke, und eine kleine Scheibe einer riesigen Menge zahlenmäßig die ganze winzige übertrifft. Die zwei Noten eines Tests, Sensitivität und Spezifität, können das allein nicht klären. Sie beschreiben den Test. Was ein Ergebnis für die Person vor dir bedeutet, braucht eine dritte Zahl, die Basisrate, und die Zahl, die beim Kombinieren herauskommt, heißt positiver Vorhersagewert. Ein positives Ergebnis ist nicht wertlos. Es hat diese Person von 1 von 1.000 auf 1 von 51 bewegt, das Zwanzigfache der Chance, und deshalb folgt auf ein positives Screening ein zweiter, besserer Test und keine Diagnose. Dieselbe Arithmetik läuft durch Betrugswarnungen, Sicherheitskontrollen und jede Suche nach etwas Seltenem: Bevor du einem Signal vertraust, zähl die Menge, auf die es gerichtet war.

Der Basisratenfehler ist, einem Signal zu vertrauen, ohne zu fragen, wie selten die Sache ist, die es anzeigt, und die Betrugs-SMS der Bank zeigt die Rechnung. Deine Karte macht etwa 1.000 Einkäufe im Jahr, und angenommen, einer davon ist Betrug. Das System der Bank erwischt diesen einen. Es markiert auch 2 % deiner ehrlichen Einkäufe, etwa 20, meist ein neuer Laden oder eine ungewöhnliche Uhrzeit. Also kommen 21 SMS mit der Frage „Warst das du?“, und 20 davon betreffen deine eigenen Einkäufe. Das System ist nicht kaputt. Ein Ausrutscher von 2 % ist klein. Die SMS liegen nur deshalb meist falsch, weil es einen Betrug zu finden gab und 999 ehrliche Einkäufe, bei denen man ausrutschen kann, sodass die Ausrutscher den Treffer 20 zu 1 übertreffen. Der eine Betrug ist die Basisrate, die 2 % sind die Falsch-positiv-Rate, und die 21 SMS sind die positiven Ergebnisse. Eine SMS zählt trotzdem: Sie bewegt die Chance von 1 von 1.000 auf 1 von 21, und deshalb fragt die Bank, statt die Karte zu sperren. Hier endet die Entsprechung: Du kannst der Bank in einer Sekunde antworten, während ein Patient mit einem positiven Ergebnis einen zweiten Test braucht.