O que é o paradoxo de Simpson?

O paradoxo de Simpson é uma comparação que aponta para um lado nos dados combinados e para o outro dentro de cada grupo que compõe esses dados. Em 1973, a Universidade da Califórnia em Berkeley admitiu cerca de 44 % dos homens que se candidataram à pós-graduação e cerca de 35 % das mulheres, uma diferença de 9 pontos. Olhando departamento por departamento, a diferença sumia: seis departamentos admitiam mulheres numa proporção maior do que homens, e quatro faziam o contrário. O número combinado virou porque as mulheres tinham se candidatado principalmente a departamentos difíceis de entrar, e os homens principalmente a departamentos fáceis. Então o total comparava quais departamentos cada sexo tinha escolhido, não como cada sexo era tratado. Esse é o paradoxo em uma linha: o total pode apontar para o lado oposto de cada uma das suas partes. O conserto é comparar semelhante com semelhante, grupo por grupo, sempre que os dois lados não enfrentaram a mesma mistura de casos.

O paradoxo de Simpson é uma comparação que se inverte quando os dados são divididos em grupos: um lado ganha no número combinado e perde dentro de cada grupo. Duas coisas precisam ser verdade ao mesmo tempo: os grupos diferem em dificuldade, e os dois lados estão distribuídos de forma desigual entre eles, um principalmente no grupo difícil e o outro principalmente no fácil. Aí o número combinado mede a distribuição, não os lados. Duas assistências de celular pegam 100 serviços cada. A loja A conserta 90 de cada 100 telas trincadas e 30 de cada 100 celulares molhados. A loja B conserta 80 de cada 100 telas e 20 de cada 100 molhados, então A é melhor nas duas coisas. Mas os 100 serviços de A são 20 telas e 80 molhados: 18 mais 24 dá 42 consertados. Os de B são 80 telas e 20 molhados: 64 mais 4 dá 68 consertados. B ganha o total perdendo nos dois tipos de serviço, porque B ficou com o trabalho fácil. As admissões à pós-graduação de Berkeley em 1973 tinham a mesma estrutura. No geral, 44 % dos homens foram admitidos contra 35 % das mulheres, mas, departamento por departamento, mais departamentos favoreceram mulheres do que homens. As mulheres tinham se candidatado aos departamentos difíceis de entrar. O departamento é uma variável de confusão, um fator escondido ligado tanto à coisa comparada quanto ao resultado. Dividir não é automaticamente a visão honesta, porém. É o certo quando o agrupamento define de fato a dificuldade, como o tipo de defeito e o departamento fazem, e dividir por algo irrelevante pode fabricar uma inversão para o outro lado. O paradoxo de Simpson também não é dado ruim: cada número nele está correto, e o total engana mesmo assim. Uma amostra distorcida é viés de seleção, um problema à parte. A pergunta que o pega é sempre a mesma: os dois lados enfrentaram a mesma mistura de casos?

O paradoxo de Simpson é uma comparação que vira do avesso quando os dados são divididos em grupos, e duas pizzarias num app de entrega são a mesma ideia. O app diz que a Pizzaria A leva em média 32 minutos até a sua porta e a Pizzaria B leva 26, então B parece mais rápida. Divida os pedidos por distância e A é mais rápida nos dois: 18 minutos contra os 20 de B nos pedidos próximos, e 40 contra os 45 de B nos distantes. A fica na beira da cidade, então a maioria dos pedidos dela é distante, e B fica no centro, então a maioria dos pedidos dela é próxima. A média geral está dando nota ao mapa, não às cozinhas. Os pedidos próximos e distantes são os grupos, o tempo mais rápido de A em cada um é o lado que ganha em todos os grupos, a média do app é o total, e onde cada pizzaria fica é a distribuição desigual que inverte tudo. A correspondência termina aqui: no app você enxerga o mapa, enquanto numa pesquisa a coisa que divide os grupos precisa ser pensada e medida.