O que é o valor-p?

Quando um estudo encontra uma diferença, há duas causas possíveis: algo real, ou o acaso. O valor-p mede com que facilidade só o acaso poderia produzir uma diferença desse tamanho, então um valor-p pequeno significa que o acaso raramente daria conta. Ele não lhe diz a chance de o achado ser verdadeiro.

Pegue um ensaio de remédio para dormir em que o grupo tratado adormeceu 12 minutos mais rápido que o grupo da pílula de açúcar. A suposição chata, chamada de hipótese nula, é que o remédio não faz nada e os 12 minutos são acaso comum, já que dois grupos de pessoas nunca saem exatamente iguais. O valor-p responde a uma pergunta: se o remédio de fato não fizesse nada, com que frequência só o acaso abriria uma distância de 12 minutos ou mais? Se o acaso consegue isso apenas 3 vezes em 100 repetições do estudo, o valor-p é 0,03, e algo real parece provável. A maioria das áreas chama qualquer coisa abaixo de 0,05 de significativa, mas esse corte é uma convenção, e passar por ele não significa que o efeito seja grande o bastante para importar. Uma cautela: teste 20 remédios inúteis nesse corte e cerca de um vai passar só por sorte, então uma única passagem sortuda prova pouco.

Um amigo tira três seis seguidos e chama de sorte. Um dado honesto faz isso mais ou menos uma vez a cada 216 tentativas, e essa chance de uma em 216 é o valor-p da alegação dele. É pequena, então o dado ser honesto deixa de ser a explicação fácil — embora coisas raras aconteçam.