O que é a falácia da taxa-base?

A falácia da taxa-base é julgar o que o resultado de um teste significa pela qualidade do teste, esquecendo quão rara é a coisa que ele procura. A taxa-base é essa raridade: quantas pessoas têm a doença antes de alguém ser testado. Pegue uma doença que 1 pessoa em 1.000 tem, e um teste que pega todo caso real e marca por engano 5 % das pessoas saudáveis. Enfileire 1.000 pessoas. A única pessoa doente é marcada. Das 999 pessoas saudáveis, 5 % são cerca de 50, e elas são marcadas também. Então 51 pessoas seguram um resultado positivo e uma delas está doente: um positivo está certo cerca de 2 % das vezes. O teste não é ruim. Um deslize de 5 % é pequeno. Ele decide a resposta só porque há um caso real para encontrar e 999 chances de deslizar, então os alarmes falsos superam o único caso real em cinquenta para um. Um teste 95 % preciso para uma doença de 1 em 1.000: um positivo está certo cerca de 2 % das vezes. Conte a multidão antes de confiar no sinal.

A falácia da taxa-base é ler um resultado só pela força da evidência e deixar cair o número que mais importa: quão comum a coisa era antes de a evidência chegar. Esse número é a taxa-base. Em 2014, pesquisadores de um hospital de Boston fizeram uma pergunta a 61 médicos e estudantes de medicina. Uma doença afeta 1 pessoa em 1.000. Um teste para ela pega todo caso real e tem uma taxa de falsos positivos de 5 %, ou seja, marca 5 % das pessoas que não têm a doença. Uma pessoa testa positivo. Qual é a chance de ela ter a doença? Conte em pessoas. De 1.000 testadas, uma tem a doença e é marcada. As outras 999 não têm, e 5 % delas, cerca de 50, são marcadas mesmo assim. São 51 positivos, um deles real: cerca de 2 %. Quatorze dos 61 acertaram, e 27 responderam 95 %. A mesma pergunta em 1978 produziu o mesmo resultado: 11 acertos em 60. O que confunde as pessoas é que duas porcentagens são verdade ao mesmo tempo. O teste erra com só 5 % das pessoas saudáveis, o que é modesto. Mesmo assim, 98 % dos seus positivos estão errados, porque a multidão saudável é 999 vezes o tamanho da doente, e uma fatia pequena de uma multidão enorme supera o todo de uma minúscula. As duas notas de um teste, sensibilidade e especificidade, não conseguem resolver isso sozinhas. Elas descrevem o teste. O que um resultado significa para a pessoa na sua frente precisa de um terceiro número, a taxa-base, e o valor que sai da combinação dos três se chama valor preditivo positivo. Um positivo não é inútil. Ele moveu essa pessoa de 1 em 1.000 para 1 em 51, vinte vezes as chances, e é por isso que um exame de triagem positivo é seguido de um segundo teste, melhor, e não de um diagnóstico. A mesma aritmética atravessa alertas de fraude, triagem de segurança e qualquer busca por algo raro: antes de confiar num sinal, conte a multidão para a qual ele foi apontado.

A falácia da taxa-base é confiar num sinal sem perguntar quão rara é a coisa que ele sinaliza, e o SMS de fraude do banco mostra a conta. Seu cartão faz cerca de 1.000 compras por ano, e suponha que uma delas seja fraude. O sistema do banco pega essa uma. Ele também marca 2 % das suas compras honestas, cerca de 20, em geral uma loja nova ou um horário estranho. Então chegam 21 mensagens perguntando «foi você?», e 20 delas são sobre as suas próprias compras. O sistema não está quebrado. Um deslize de 2 % é pequeno. As mensagens estão quase todas erradas só porque havia uma fraude para encontrar e 999 compras honestas em que deslizar, então os deslizes superam o acerto em 20 para 1. A única fraude é a taxa-base, os 2 % são a taxa de falsos positivos, e as 21 mensagens são os positivos. Uma mensagem ainda importa: ela move as chances de 1 em 1.000 para 1 em 21, e é por isso que o banco pergunta em vez de bloquear o cartão. Onde a correspondência termina: você responde ao banco num segundo, enquanto um paciente com resultado positivo precisa de um segundo teste.