¿Qué es el p-hacking?

El p-hacking consiste en analizar los mismos datos una y otra vez, de maneras distintas y todas defendibles, hasta que un resultado parece estadísticamente significativo, y contar después solo la versión que funcionó. Nada se falsea y todas las cifras son reales. La trampa está en elegir después de ver las respuestas. Unos investigadores lo usaron para demostrar, con un experimento real, que una canción de los Beatles rejuvenecía 1,5 años a quien la escuchaba, cosa que ninguna canción puede hacer, y de eso se trataba.

El p-hacking es ejecutar muchas versiones de un análisis sobre unos mismos datos y contar la que cruzó la raya de la significación estadística, como si hubiera sido la única prueba. Las versiones salen de decisiones corrientes. Quitar los valores atípicos o dejarlos. Añadir una variable de control o no. Dar por cerrada la recogida de datos o seguir. Cada decisión se defiende por sí sola. Eso es lo que vuelve invisible la práctica. El fallo está en el momento. Un análisis elegido antes de que lleguen los datos es una prueba. El mismo análisis, escogido después de un menú de intentos, es una búsqueda, porque el después deja que la suerte elija el método. En 2011, tres investigadores hicieron un experimento real con estudiantes universitarios para demostrar lo fácil que es. Un grupo escuchó una canción de los Beatles y el otro una canción neutra. Contadas con honestidad, las cifras decían que el grupo de los Beatles había rejuvenecido 1,5 años, p = 0,040, algo que no puede ser cierto. También habían preguntado a cada estudiante una docena de cosas más, desde qué edad sentía tener hasta la edad de su padre. El resultado solo cruzó la raya al ajustar por la edad del padre. Sin ese ajuste, p = 0,33 y allí no había nada. La solución es decidir el análisis antes de mirar y contar todo lo que se probó. El p-hacking no es lo mismo que el sesgo de publicación, que decide qué artículos terminados llegan a leerse. El p-hacking ocurre antes de que el artículo exista.

Te pesas cinco veces antes de decidir qué le cuentas a la gente. Después del gimnasio, antes de desayunar, sin zapatos, con una mano apoyada en el toallero. Gana la lectura más baja y esa pasa a ser tu peso oficial. Todos los números de la báscula eran reales. La mentira está en la elección, porque viste las cinco, te quedaste con la que te favorecía y nunca mencionaste las demás. El p-hacking es exactamente este movimiento hecho sobre datos de investigación. Muchas lecturas honestas, una sola contada, y la búsqueda fuera del relato.