¿Qué es la crisis de replicación?

La crisis de replicación es el descubrimiento de que una gran parte de los estudios publicados no dan el mismo resultado cuando otros investigadores los repiten. Esa segunda pasada es una replicación: el mismo método, participantes nuevos, otro equipo. Cualquier estudio aislado puede caer en una casualidad, así que una sola pasada nunca es prueba. Cuántas casualidades llegan a imprenta depende de cómo funciona un campo. Muestras pequeñas, un análisis elegido después de ver los datos, y revistas que publican los positivos sorprendentes y no los nulos aburridos dejan pasar más de las que el azar solo dejaría. En 2015 un equipo de psicólogos repitió 100 estudios publicados de su propio campo. Los originales habían sido estadísticamente significativos 97 veces de 100. Las repeticiones lo fueron 36 veces, y los efectos que encontraron eran más o menos de la mitad de tamaño. Una repetición fallida no demuestra que el primer resultado fuera falso. Demuestra que una sola pasada era una prueba débil. Así que la pregunta para cualquier titular de «un estudio descubre» es si alguien lo ha descubierto dos veces.

La crisis de replicación es el hallazgo, hecho cuando los investigadores empezaron a rehacer estudios publicados en masa, de que muchos no se sostienen. Una replicación es una segunda pasada independiente: otro equipo sigue el método original con participantes nuevos y mira si el resultado vuelve. Durante décadas esto fue raro. Las revistas querían hallazgos nuevos y no repeticiones, y las carreras se construían sobre descubrimientos, así que la comprobación de la que depende la investigación casi nunca se hacía. Cualquier estudio aislado puede dar con una casualidad, así que una sola pasada nunca es prueba. Cuántas casualidades llegan a imprenta depende de tres hábitos. Una muestra pequeña oscila por azar, así que un estudio pequeño se equivoca más a menudo. Elegir cómo analizar los datos después de verlos deja que la suerte escoja el método, que es el p-hacking. Y las revistas imprimen los positivos sorprendentes mientras los estudios que no encontraron nada se quedan sin publicar, que es el sesgo de publicación. En 2011 un grupo de 270 investigadores empezó la mayor comprobación de este tipo. Repitieron 100 estudios publicados en tres revistas de psicología en 2008, terminaron en 2014 e informaron en 2015. De los originales, 97 habían sido estadísticamente significativos. De las repeticiones, lo fueron 36, y los efectos medidos eran más o menos de la mitad de tamaño que los originales. Qué resultados se sostuvieron lo predecía la fuerza del primer resultado, no quién hizo la repetición, y los hallazgos más sorprendentes fueron los que menos se sostuvieron. Los autores añadieron una advertencia: una repetición fallida no significa que el original fuera un falso positivo, porque una segunda pasada puede fallar por azar o porque un detalle del método importaba. Significa que un solo estudio es una prueba débil. Los arreglos desde entonces: escribir el análisis antes de recoger los datos (prerregistro), reclutar a más participantes, dejar que las revistas acepten un estudio por su diseño antes de que haya resultados, y compartir los datos. Para un lector, la prueba de cualquier hallazgo es si alguien más lo ha obtenido otra vez.

La crisis de replicación es lo que un campo descubre cuando repite sus estudios publicados y muchos no salen igual, y una primera noche de bolos enseña por qué un resultado no es un nivel. Alguien juega a los bolos por primera vez y hace 180 puntos, y el grupo no habla de otra cosa. En las diez semanas siguientes su media es 110. Los 180 fueron reales: los bolos cayeron. También fueron una sola partida, y una partida mezcla habilidad con suerte, así que era una mala guía de lo bueno que es el jugador. Solo las repeticiones lo mostraron. Una liga que apuntara las primeras partidas y nunca las repeticiones tendría un libro lleno de 180, y sus miembros parecerían mucho mejores de lo que son. Un campo que publica los primeros resultados y rara vez los repite tiene ese libro. Las repeticiones bajas no convierten los 180 en una mentira, y una replicación fallida no convierte el primer estudio en falso. La correspondencia termina aquí: un jugador de bolos puede repetir por el precio de una pista, y un experimento puede costar años, que es por lo que se repitieron tan pocos.