O que é um transformer em loop (looped transformer)?

Um transformer em loop (looped transformer) é um modelo de IA que passa cada pergunta pelo mesmo bloco de camadas mais de uma vez, em vez de dar a cada etapa uma camada própria. Uma camada é uma etapa de cálculo: entram dados, os parâmetros da camada transformam esses dados e saem dados novos. Os parâmetros são números aprendidos no treinamento. Um modelo comum com 24 camadas passa os dados por cada camada uma vez. Um modelo em loop com 12 camadas passa os dados pelas 12 e depois manda a saída de volta pelas mesmas 12. Os parâmetros não mudam entre as passadas; os dados mudam, porque a segunda passada parte da saída da primeira. O mesmo loop roda no treinamento, onde os parâmetros estão sendo ajustados, e na inferência, onde os parâmetros estão fixos. Um modelo em loop consegue assim 24 etapas de processamento com os parâmetros de 12 camadas, que é a metade.

Um transformer em loop (looped transformer) é um modelo de IA que passa cada pergunta pelo mesmo bloco de camadas duas ou mais vezes, com cada passada recebendo como entrada a saída da anterior. Uma camada é uma etapa de cálculo: entram dados, os parâmetros da camada transformam esses dados e saem dados novos. Os parâmetros são números aprendidos no treinamento. Profundidade é quantas etapas dessas uma pergunta recebe, e o loop compra profundidade sem parâmetros novos. O mesmo loop roda no treinamento e na inferência. No treinamento os parâmetros são ajustados depois que cada resposta é conferida, então só sobrevivem os parâmetros que funcionam quando aplicados de novo à própria saída. Na inferência os parâmetros estão fixos, e só os dados mudam de uma passada para outra. O Google Research mediu o que isso rende (ICLR 2025). Somando oito números de três dígitos, um modelo de 1 camada acertou 0,1%, o mesmo modelo de 1 camada treinado para dar 12 voltas acertou 99,9%, e um modelo de 12 camadas acertou 100%. O custo é tempo, porque cada passada é uma volta completa pelo bloco: um modelo de 12 camadas com duas voltas leva mais ou menos o mesmo tempo que um de 24 camadas. A perda é espaço para fatos. No mesmo estudo, um modelo de 12 camadas com duas voltas venceu um de 24 camadas em problemas curtos de matemática escritos em palavras, 34,3 contra 29,3. O modelo em loop perdeu em perguntas de conhecimentos gerais, 9,3 contra 11,2, porque os fatos ficam guardados nos parâmetros e o modelo em loop tinha mais ou menos a metade. O Google fixou o número de voltas antes do treinamento. Outros modelos em loop são treinados com o número variado, de modo que o número de passadas pode ser escolhido na inferência. De todo modo o loop roda dentro do modelo, antes da primeira palavra da resposta, e é isso que separa o loop do chain-of-thought, em que o modelo escreve seus passos em palavras.

Um transformer em loop (looped transformer) é um modelo de IA que passa uma pergunta pelo mesmo bloco de camadas mais de uma vez, de modo que a segunda passada trabalha sobre o que a primeira produziu. Revisar a própria redação funciona do mesmo jeito. Você lê a redação uma vez e conserta o que consegue ver. Depois lê de novo. Seus olhos e seu conhecimento não mudaram, mas a redação mudou, e os consertos da primeira leitura expõem erros que antes estavam escondidos. Essa segunda leitura é o loop: você é o bloco de camadas, e cada leitura é uma passada. A alternativa é entregar a redação a dois leitores diferentes, um depois do outro. Cada leitor traz um conhecimento que você não tem, então dois leitores são o modelo empilhado, com um conjunto novo de parâmetros a cada etapa. Dois leitores pegam mais erros de fatos, e dois leitores custam duas pessoas em vez de uma. Onde a imagem quebra: uma segunda leitura só custa o seu tempo, enquanto uma segunda passada por um modelo custa tanto cálculo quanto uma camada a mais.