O que é test-time compute?

Test-time compute (computação em tempo de teste) é a computação que um modelo de IA já treinado gasta enquanto responde a uma pergunta. Computação é a aritmética que os chips fazem, e mais computação custa energia e tempo. Os engenheiros chamam de teste rodar um modelo pronto, então o tempo de teste é a hora de responder, em contraste com o treinamento, a rodada única que construiu o modelo. O mesmo modelo acerta mais perguntas difíceis quando pode fazer mais aritmética por resposta. Há três jeitos de permitir isso: raciocinar com mais calma antes de responder, produzir um lote de respostas e ficar com a mais comum, ou pôr um verificador separado para classificar as tentativas. A OpenAI mostrou os dois últimos numa prova de uma competição de matemática de 15 questões em 2024. Um modelo que respondia cada questão uma vez fez 74%. Com 64 respostas por questão, ficando com a mais comum, fez 83%. Com 1.000 respostas e um verificador escolhendo a melhor, fez 93%. O modelo nunca mudou. A conta mudou: cada tentativa extra é aritmética, paga em segundos no relógio e no preço da resposta.

Test-time compute é a aritmética que um modelo de IA faz no momento em que responde, em contraste com a aritmética que o treinou. Gastar mais dela por pergunta tira respostas melhores de um modelo que já está construído. A computação é medida em operações, porque operações são o que custa horas de chip e energia, e a espera vem delas. Os engenheiros chamam de teste rodar um modelo pronto, daí o nome. O treinamento fixou o modelo uma vez, e nada disso muda o que o treinamento construiu. Gastar mais na hora de responder assume uma de três formas. O modelo pode escrever um raciocínio mais longo antes de responder, que é o chain-of-thought: a resposta dele sai palavra por palavra, então mais palavras antes da última significam mais espaço para trabalhar, conferir e tentar de novo. Ele pode produzir várias respostas para a mesma pergunta e ficar com a mais comum, de modo que um deslize casual numa tentativa perde a votação para as outras. Ou um verificador separado, treinado para distinguir tentativas boas de ruins, pode classificar as tentativas e escolher uma. O loop, em que um modelo passa de novo pelas próprias camadas antes de qualquer palavra aparecer, é uma quarta forma. Um estudo de 2024 pôs um orçamento nisso. Compare um modelo modesto com um 14 vezes maior. O grande faz mais ou menos 14 vezes a aritmética para cada palavra, então, com as mesmas operações no total, o pequeno pode produzir umas 14 vezes mais palavras ou tentativas. Gasto em mais tentativas e revisões, com um verificador escolhendo entre elas, o orçamento do modelo modesto venceu o do grande, mas só em perguntas que o modesto conseguia resolver de vez em quando. Em perguntas além do alcance dele, mais tentativas falharam do mesmo jeito, só que mais devagar. Ninguém olha o gabarito em nada disso: a votação e o verificador trabalham só com as tentativas. O custo cai por pergunta, na inferência: cada palavra e tentativa extra é aritmética, e é por isso que respostas pensadas demoram mais e custam mais caro. Isso dá dois botões de ajuste. As leis de escala descrevem o primeiro, ajustado antes de o modelo existir: o tamanho dele e quanto treinamento ele recebeu. O test-time compute é o segundo, ajustado por pergunta, depois que o modelo existe e sem mudá-lo.

Test-time compute é a computação que um modelo de IA já treinado gasta por pergunta, e dar mais dela ao mesmo modelo, mais tentativas ou mais raciocínio, sobe a nota dele até certo ponto. Fazer baliza funciona do mesmo jeito. Um motorista experiente entra numa vaga apertada de primeira. Um motorista menos experiente, com três tentativas, normalmente também entra, sem ter mais habilidade do que tinha na primeira. As tentativas extras compensam numa vaga que o menos experiente quase consegue. Uma vaga que é simplesmente curta demais continua vazia por mais tentativas que ele faça, e cada tentativa custa tempo e trava a rua. A habilidade do motorista é o tamanho e o treinamento do modelo, as tentativas são o test-time compute, a vaga quase possível é a pergunta ao alcance e a vaga curta demais é a pergunta fora dele. A comparação vai até aqui: um motorista vê qual tentativa deu certo, enquanto um modelo precisa ser avisado por uma votação ou por um verificador.