O que é a crise de replicação?

A crise de replicação é a descoberta de que uma parcela grande dos estudos publicados não dá o mesmo resultado quando outros pesquisadores os rodam de novo. Essa segunda rodada é uma replicação: o mesmo método, participantes novos, outra equipe. Qualquer estudo isolado pode cair num golpe de sorte, então uma rodada nunca é prova. Quantos golpes de sorte chegam à publicação depende de como uma área funciona. Amostras pequenas, análise escolhida depois de ver os dados, e revistas que publicam os positivos surpreendentes e não os nulos sem graça deixam passar mais do que o acaso sozinho deixaria. Em 2015, uma equipe de psicólogos refez 100 estudos publicados da própria área. Os originais tinham sido estatisticamente significativos 97 vezes em 100. As repetições foram significativas 36 vezes, e os efeitos que encontraram tinham cerca de metade do tamanho. Uma repetição que falha não mostra que o primeiro resultado era falso. Mostra que uma rodada era evidência fraca. Então a pergunta para qualquer manchete «estudo descobre» é se alguém descobriu duas vezes.

A crise de replicação é a constatação, feita quando pesquisadores começaram a refazer estudos publicados em massa, de que muitos não se sustentam. Uma replicação é uma segunda rodada, independente: outra equipe segue o método original com participantes novos e vê se o resultado volta. Por décadas isso foi raro. As revistas queriam achados novos em vez de repetições, e carreiras eram construídas sobre descobertas, então a checagem de que a pesquisa depende raramente era feita. Qualquer estudo isolado pode acertar num golpe de sorte, então uma rodada nunca é prova. Quantos golpes de sorte chegam à publicação depende de três hábitos. Uma amostra pequena oscila por acaso, então um estudo pequeno erra com mais frequência. Escolher como analisar os dados depois de vê-los deixa a sorte escolher o método, o que é p-hacking. E as revistas publicam os positivos surpreendentes enquanto os estudos que não encontraram nada ficam sem publicar, o que é viés de publicação. Em 2011, um grupo de 270 pesquisadores começou a maior checagem desse tipo. Eles refizeram 100 estudos publicados em três revistas de psicologia em 2008, terminaram em 2014 e relataram em 2015. Dos originais, 97 tinham sido estatisticamente significativos. Das repetições, 36 foram, e os efeitos medidos tinham cerca de metade do tamanho dos originais. Quais resultados se sustentaram foi previsto pela força do primeiro resultado, não por quem fez a repetição, e os achados mais surpreendentes foram os que menos se sustentaram. Os autores acrescentaram uma cautela: uma repetição que falha não quer dizer que o original era um falso positivo, porque uma segunda rodada pode falhar por acaso ou porque um detalhe do método importava. Quer dizer que um estudo é evidência fraca. Os consertos desde então: escrever a análise antes de coletar os dados (pré-registro), recrutar mais participantes, deixar as revistas aceitarem um estudo pelo desenho antes de qualquer resultado existir, e compartilhar os dados. Para quem lê, o teste de qualquer achado é se outra pessoa o obteve de novo.

A crise de replicação é o que uma área descobre quando refaz os próprios estudos publicados e muitos não saem iguais, e uma primeira noite no boliche mostra por que um resultado não é um nível. Alguém joga boliche pela primeira vez e marca 180, e o grupo não fala de outra coisa. Nas dez semanas seguintes, a média da pessoa é 110. O 180 foi real: os pinos caíram. Também foi uma partida só, e uma partida só mistura habilidade com sorte, então era um guia ruim para quão bom o jogador é. Só as repetições mostraram isso. Uma liga que registrasse as primeiras partidas e nunca as repetições teria um livro cheio de 180, e seus membros pareceriam muito melhores do que são. Uma área que publica primeiros resultados e raramente os refaz tem esse livro. As repetições baixas não fazem do 180 uma mentira, e uma replicação que falha não torna o primeiro estudo falso. A correspondência termina aqui: um jogador de boliche pode repetir pelo preço de uma pista, e um experimento pode custar anos, e é por isso que tão poucos foram refeitos.