O que são benchmarks de IA?

Benchmarks de IA são listas fixas de perguntas feitas a todos os modelos, para que as notas possam ser comparadas em pé de igualdade. É deles que saem os números de cada anúncio de lançamento. Um modelo pode liderar a tabela e ainda decepcionar você — e é por isso que quem aplicou o teste importa tanto quanto a nota.

Você poderia simplesmente testar um modelo por conta própria, mas estaria testando as perguntas que lhe ocorreram naquela tarde, sem como saber se ele venceu um rival ou só teve um dia fácil. Um benchmark é uma lista específica de perguntas com respostas conhecidas, e cada modelo recebe essa lista idêntica — a única razão de as notas serem comparáveis. A maioria dessas listas foi tornada pública para que qualquer um pudesse conferir os resultados, e é aí que a encrenca começa. Os modelos são treinados na internet aberta, então um modelo pode muito bem ter lido as perguntas e as respostas antes de fazer a prova. A área chama isso de contaminação, e significa que uma nota alta pode significar apenas que o modelo reconheceu a prova. Um segundo problema decorre da própria competição, porque quando todos perseguem um número, as equipes afinam para o número em vez da habilidade por baixo dele. Por isso os benchmarks mais confiáveis são hoje mantidos por organizações independentes que guardam a lista em segredo, aplicam a prova elas mesmas em cada modelo e divulgam só as notas. Todo modelo ainda enfrenta perguntas idênticas — e ninguém consegue estudar o gabarito antes.

A classificação por estrelas de um guia de restaurantes. É uma avaliação real, e nenhuma cozinha junta três estrelas por acidente, mas ela reflete um conjunto de jurados aplicando um conjunto de critérios nas noites em que calharam de visitar. As cozinhas também descobrem o que esses jurados premiam e cozinham na direção disso, então as estrelas sobem enquanto a comida fica exatamente onde estava. A classificação é honesta — e mesmo assim não diz se você vai gostar do jantar lá numa terça-feira chuvosa.