Clicked Gallery

O que é o poder estatístico?

Sublinhado num livro didático real. Explicado pelo Clicked.

Usado numa frase

University Course Reader · STEM

The trial had too little statistical power to detect a modest benefit, the authors cautioned, so its null result settles very little.

O leitor sublinhou um termo — num artigo ou no PDF de um paper. O Clicked tornou o termo estatístico «statistical power» fácil de entender:

Explicado em três níveis

Os mesmos fatos, outra vibe — Modo slang 😎

O método Clicked

●○○

Overview

Poder estatístico é a chance de um estudo detectar um efeito que existe de verdade, como um remédio que baixa a pressão arterial em alguns pontos. Quatro coisas definem essa chance antes de o estudo começar: quantas pessoas são medidas (o tamanho da amostra), quão grande é o efeito, e quanto as medições variam de uma pessoa para outra. A quarta é quão rígido é o limiar para declarar um resultado real. Mais gente, um efeito maior, menos variação e um limiar mais frouxo empurram a chance para cima. O regulamento dos ensaios de medicamentos, a diretriz ICH E9, manda os pesquisadores aceitarem uma chance de 10 % a 20 % de deixar passar um efeito real. Um ensaio que aceita 20 % tem 80 % de poder: de cinco efeitos reais, encontra quatro e perde um, por desenho. Então um estudo com pouco poder que não encontra efeito não mostrou que não existe nenhum. A pergunta a fazer para qualquer «nenhum efeito encontrado» é quão boas eram as chances dele.
●○○

Overview

Poder estatístico é a chance de um estudo pegar um efeito que está mesmo ali, como um app de sono que realmente acrescenta 20 minutos por noite. Quatro botões controlam essa chance, todos ajustados antes do primeiro dia: quantos você testa, quão grande é a coisa que você está caçando, e quanto as suas medições balançam de um testado para outro. O botão quatro é quão exigente é o seu critério para dar algo como real. Ensaios de medicamentos rodam sob uma diretriz, a ICH E9, que deixa eles conviverem com um risco de 10 % a 20 % de perder um efeito real. Conviva com 20 % e você tem 80 % de poder, o que soa impressionante até você contar: entregue a esse estudo cinco efeitos genuínos e ele deixa um passar como «não tem nada aqui», de propósito. É por isso que «estudo não encontra relação» é frase de abertura, não veredito. A pergunta seguinte é quantos eles olharam e quão grande teria que ser a relação para eles enxergarem. Um estudo minúsculo que não acha nada é um dar de ombros com orçamento. 😎

Uma ideia rápida — muitas vezes é tudo de que você precisa.

●●○

Detail

Poder estatístico é a probabilidade de um estudo encontrar um efeito que está de fato ali. O efeito é a diferença que se busca: um remédio que baixa a pressão arterial em 5 pontos, digamos, contra um comprimido sem princípio ativo. Encontrá-lo significa que o resultado ultrapassa o limiar para ser chamado de estatisticamente significativo, o que normalmente quer dizer que só o acaso produziria uma diferença desse tamanho em menos de 5 % das vezes. Deixar passar um efeito real é um falso negativo, e o poder é a chance de evitar essa falha. Quatro entradas o definem. Primeira, o tamanho da amostra: 400 pacientes dão uma chance melhor do que 40, porque a média de muitos é mais estável. Segunda, o tamanho do efeito: uma queda de 5 pontos é mais fácil de ver do que uma de 1 ponto. Terceira, a variabilidade: se a pressão arterial pula de um paciente para outro, 5 pontos reais se escondem na dispersão. Quarta, o limiar: um critério mais rígido faz mais efeitos reais serem reprovados. A diretriz ICH E9 para ensaios de medicamentos manda os pesquisadores aceitarem uma chance de 10 % a 20 % de falha, ou seja, um poder de 80 % a 90 % (100 menos 20, 100 menos 10), e recrutarem gente suficiente para chegar lá. Por que não 99 %? Porque encontrar um efeito com metade do tamanho exige cerca de quatro vezes mais participantes. Uma revisão de 2013 estimou o poder dos estudos de neurociência entre cerca de 8 % e 31 %, então a maioria deixaria passar um efeito real mais vezes do que o encontraria. A mesma revisão apontou um custo escondido: os efeitos que esses estudos encontram saem exagerados, porque só as leituras que passaram do alvo por acaso ultrapassaram o limiar. Então um resultado nulo precisa de uma pergunta: que tamanho de efeito este estudo poderia ter encontrado? E um efeito encontrado precisa de outra: quão grande ele é, que é o tamanho do efeito, um assunto à parte. Poder é sobre se um estudo consegue ver a diferença, não sobre quanto a diferença importa.
●●○

Detail

Poder estatístico é a probabilidade de um estudo pegar um efeito real, e ela fica decidida antes da primeira medição. Pegue um fertilizante que realmente aumenta a colheita de tomate em 10 %. Um ensaio ainda pode relatar «nenhuma diferença significativa», e isso é um falso negativo: o efeito estava ali e o ensaio passou reto. Poder é a probabilidade de o ensaio não passar reto. Quatro alavancas decidem. A alavanca um é quantos canteiros: 200 ganham de 20, já que as médias se acalmam conforme você acrescenta. A alavanca dois é o tamanho do efeito: um ganho de 10 % é bem mais simples de flagrar do que 2 %. A alavanca três é o ruído: se as colheitas já oscilam loucamente de um canteiro para outro, um 10 % genuíno afunda nas oscilações. A alavanca quatro é a régua: «significativo» normalmente exige que só a sorte conseguisse isso menos de uma vez em vinte, e uma régua mais exigente reprova mais efeitos genuínos. Ensaios médicos seguem um regulamento, a ICH E9, que deixa eles aceitarem um risco de falha de um em dez a um em cinco, ou seja, 90 % ou 80 % de poder. Ninguém paga pela quase certeza, porque flagrar um ganho de 5 % em vez de 10 % pede mais ou menos o quádruplo de canteiros. Um artigo de 2013 cravou o estudo típico de neurociência entre 8 e 31 em 100, então ele passou reto por um efeito genuíno mais vezes do que o pegou. E a ferroada no fim: quando um estudo fraco acerta, o acerto vem inflado, porque os únicos resultados que passaram da régua foram os que a sorte já tinha bombado. Então trate «nenhum efeito encontrado» como o começo de uma conversa: quão grande teria que ser um efeito para ele conseguir pegar? «Efeito encontrado» ganha uma segunda conversa, sobre quão grande, que é o tamanho do efeito, assunto à parte. Poder é dá-para-ver, não faz-diferença. 😎

Quer mais? Um clique aprofunda.

●●●

Analogy

Poder estatístico é a chance de um estudo encontrar um efeito que está mesmo ali, e um mutirão de busca por um cachorro perdido funciona do mesmo jeito. Três vizinhos andam pela mata por uma hora e voltam sem nada. Trinta pessoas procuram até escurecer e voltam sem nada. Só o segundo «sem nada» diz muito sobre o cachorro estar ou não naquela mata. O tamanho também importa: três pessoas enxergariam um dogue alemão, enquanto trinta poderiam passar reto por um dachshund deitado quieto na samambaia alta. Quem procura e suas horas são o tamanho da amostra, o tamanho do cachorro é o tamanho do efeito, a samambaia e a luz que vai embora são a variabilidade, e a regra para dar por encontrado é o limiar. Uma busca rala que não encontra nada fala da busca, não do cachorro. A correspondência termina aqui: um cachorro pode ir embora e um efeito não, e quem procura acaba sabendo se o cachorro estava lá, enquanto um estudo nunca sabe.
Deepest level reached.
●●●

Analogy

Poder estatístico é a chance de um estudo notar um efeito que está mesmo ali, e notar o corte de cabelo de um amigo é o mesmo jogo. Ele tirou dois centímetros. Você cruza com ele num corredor e não registra nada. Ele raspou tudo, e você perceberia do outro lado do estacionamento. Sente na frente dele num jantar inteiro e até o aparado aparece, a não ser que ele fique de boné a noite toda. Quanto tempo você olha é o tamanho da amostra, dois centímetros contra uma cabeça raspada é o tamanho do efeito, e o boné é o ruído. Quanta certeza você quer antes de arriscar um «cortou o cabelo?» é o limiar. Um «não notei nada» depois de uma olhada no corredor fala da olhada, não do corte. Onde deixa de encaixar: seu amigo pode te contar a resposta depois, e um estudo não tem a quem perguntar. 😎
Deepest level reached.

Conceito novo? Um exemplo do dia a dia faz clicar — novas analogias quando quiser.

Explicações de IA podem conter erros · Não é aconselhamento profissional

Definição formal — O mesmo termo, explicado da forma habitual

Poder estatístico é a probabilidade de um teste de hipótese rejeitar a hipótese nula quando uma alternativa especificada é verdadeira: 1 − β, em que β é a taxa de erro Tipo II (falso negativo). É determinado pelo nível de significância (α), pelo tamanho da amostra, pelo tamanho real do efeito e pela variância do desfecho, e é fixado na fase de delineamento por uma análise de poder a priori que escolhe o tamanho amostral para um efeito mínimo detectável. ICH E9, Statistical Principles for Clinical Trials (1998), §3.5: «A probabilidade de erro tipo II é convencionalmente fixada em 10 % a 20 %», ou seja, poder de 80 % a 90 %. O tamanho amostral necessário escala aproximadamente com 1 ÷ (tamanho do efeito)². Button et al., Nature Reviews Neuroscience 14, 365-376 (2013), estimaram o poder mediano dos estudos de neurociência em ∼8 % a ∼31 % e mostraram que o baixo poder também reduz o valor preditivo positivo dos achados significativos e infla os tamanhos de efeito publicados (a maldição do vencedor). O poder post hoc calculado a partir do efeito observado não é informativo. O poder diz respeito à detecção, não à magnitude ou à importância do efeito.

Quer que o Clicked explique termos como “statistical power” direto no seu navegador, inclusive em PDFs?

Adicionar ao Chrome — Grátis

50 explicações grátis · Sem cartão de crédito