¿Qué es la potencia estadística?

La potencia estadística es la probabilidad de que un estudio detecte un efecto que existe de verdad, como un fármaco que baja la tensión arterial unos puntos. Cuatro cosas fijan esa probabilidad antes de que el estudio empiece: a cuántas personas se mide (el tamaño de la muestra), cómo de grande es el efecto, y cuánto varían las mediciones de una persona a otra. La cuarta es cómo de estricto es el umbral para declarar real un resultado. Más gente, un efecto mayor, menos variación y un umbral más laxo empujan la probabilidad hacia arriba. El reglamento de los ensayos de fármacos, la guía ICH E9, dice a los investigadores que acepten entre un 10 % y un 20 % de probabilidad de no ver un efecto real. Un ensayo que acepta el 20 % tiene un 80 % de potencia: de cinco efectos reales, encuentra cuatro y se le escapa uno, por diseño. Así que un estudio con poca potencia que no encuentra efecto no ha demostrado que no lo haya. La pregunta que hay que hacer a cualquier «no se encontró efecto» es qué probabilidades tenía.

La potencia estadística es la probabilidad de que un estudio encuentre un efecto que existe de verdad. El efecto es la diferencia que se busca: un fármaco que baja la tensión arterial 5 puntos, digamos, frente a una pastilla sin nada. Encontrarlo significa que el resultado supera el umbral para llamarse estadísticamente significativo, que normalmente quiere decir que la suerte sola produciría una diferencia así de grande menos del 5 % de las veces. No ver un efecto real es un falso negativo, y la potencia es la probabilidad de evitar ese fallo. Cuatro entradas la fijan. Primera, el tamaño de la muestra: 400 pacientes dan más probabilidad que 40, porque la media de muchos es más estable. Segunda, el tamaño del efecto: una bajada de 5 puntos se ve más fácil que una de 1 punto. Tercera, la variabilidad: si la tensión arterial salta de un paciente a otro, 5 puntos reales se esconden en la dispersión. Cuarta, el umbral: un listón más estricto hace que más efectos reales lo suspendan. La guía ICH E9 para ensayos de fármacos dice a los investigadores que acepten entre un 10 % y un 20 % de probabilidad de fallo, o sea, una potencia del 80 % al 90 % (100 menos 20, 100 menos 10), y que recluten a gente suficiente para alcanzarla. ¿Por qué no un 99 %? Porque encontrar un efecto de la mitad de tamaño exige unas cuatro veces más participantes. Una revisión de 2013 estimó la potencia de los estudios de neurociencia entre un 8 % y un 31 % aproximadamente, así que la mayoría dejaría escapar un efecto real más veces de las que lo encontraría. La misma revisión señaló un coste oculto: los efectos que esos estudios sí encuentran salen exagerados, porque solo las lecturas que se pasaron de largo por azar superaron el umbral. Así que a un resultado nulo hay que hacerle una pregunta: ¿qué tamaño de efecto podría haber encontrado este estudio? Y a un efecto encontrado, otra distinta: ¿cómo de grande es?, que es el tamaño del efecto, un asunto aparte. La potencia va de si un estudio puede ver la diferencia, no de cuánto importa esa diferencia.

La potencia estadística es la probabilidad de que un estudio encuentre un efecto que de verdad está ahí, y una batida para buscar a un perro perdido funciona igual. Tres vecinos recorren el bosque una hora y vuelven sin nada. Treinta personas buscan hasta que anochece y vuelven sin nada. Solo el segundo «sin nada» te dice algo sobre si el perro está en ese bosque. El tamaño también cuenta: tres personas verían a un gran danés, mientras que treinta podrían pasar junto a un teckel quieto entre helechos altos. Los que buscan y sus horas son el tamaño de la muestra, el tamaño del perro es el tamaño del efecto, los helechos y la luz que se va son la variabilidad, y la regla para darlo por encontrado es el umbral. Una batida flojita que no encuentra nada habla de la batida, no del perro. La correspondencia termina aquí: un perro puede irse a otra parte y un efecto no, y los que buscan acaban sabiendo si el perro estaba allí, mientras que un estudio nunca lo sabe.