¿Qué es un transformer en bucle (looped transformer)?

Un transformer en bucle (looped transformer) es un modelo de IA que pasa cada pregunta por el mismo bloque de capas más de una vez, en vez de darle a cada paso su propia capa. Una capa es un paso de cálculo: entran datos, los parámetros de la capa los transforman y salen datos nuevos. Los parámetros son números aprendidos en el entrenamiento. Un modelo normal de 24 capas pasa los datos por cada capa una vez. Un modelo en bucle de 12 capas pasa los datos por las 12 y luego manda la salida otra vez por las mismas 12. Los parámetros no cambian entre pasadas; los datos sí, porque la segunda pasada parte de la salida de la primera. El mismo bucle corre en el entrenamiento, donde los parámetros se están ajustando, y en la inferencia, donde los parámetros están fijos. Un modelo en bucle consigue así 24 pasos de procesamiento con los parámetros de 12 capas, que es la mitad.

Un transformer en bucle (looped transformer) es un modelo de IA que pasa cada pregunta por el mismo bloque de capas dos o más veces, y cada pasada toma como entrada la salida de la anterior. Una capa es un paso de cálculo: entran datos, los parámetros de la capa los transforman y salen datos nuevos. Los parámetros son números aprendidos en el entrenamiento. La profundidad es cuántos pasos de esos recibe una pregunta, y el bucle compra profundidad sin parámetros nuevos. El mismo bucle corre en el entrenamiento y en la inferencia. En el entrenamiento los parámetros se ajustan después de comprobar cada respuesta, así que solo sobreviven los parámetros que funcionan cuando se aplican otra vez a su propia salida. En la inferencia los parámetros están fijos y solo los datos cambian de pasada en pasada. Google Research midió lo que esto aporta (ICLR 2025). Sumando ocho números de tres cifras, un modelo de 1 capa acertó el 0,1 %, el mismo modelo de 1 capa entrenado para dar 12 vueltas acertó el 99,9 %, y un modelo de 12 capas acertó el 100 %. El coste es tiempo, porque cada pasada es un recorrido completo por el bloque: un modelo de 12 capas con dos vueltas tarda más o menos lo mismo que uno de 24 capas. Lo que se pierde es sitio para los datos de memoria. En el mismo estudio, un modelo de 12 capas con dos vueltas ganó a uno de 24 capas en problemas cortos de matemáticas escritos en palabras, 34,3 frente a 29,3. El modelo en bucle perdió en preguntas de cultura general, 9,3 frente a 11,2, porque los hechos se guardan en los parámetros y el modelo en bucle tenía más o menos la mitad. Google fijó el número de vueltas antes del entrenamiento. Otros modelos en bucle se entrenan con el número variado, de modo que el número de pasadas se puede elegir en la inferencia. En cualquier caso el bucle corre dentro del modelo, antes de la primera palabra de la respuesta, y eso es lo que separa el bucle del chain-of-thought, donde el modelo escribe sus pasos en palabras.

Un transformer en bucle (looped transformer) es un modelo de IA que pasa una pregunta por el mismo bloque de capas más de una vez, de modo que la segunda pasada trabaja sobre lo que produjo la primera. Corregir tu propia redacción funciona igual. La lees una vez y arreglas lo que ves. Luego la lees otra vez. Tus ojos y tus conocimientos no han cambiado, pero el texto sí, y los arreglos de la primera lectura destapan errores que antes estaban escondidos. Esa segunda lectura es el bucle: tú eres el bloque de capas, y cada lectura es una pasada. La alternativa es darle el texto a dos lectores distintos, uno detrás de otro. Cada lector aporta conocimientos que tú no tienes, así que dos lectores son el modelo apilado, con un juego de parámetros nuevo en cada paso. Dos lectores cazan más errores de datos, y dos lectores cuestan dos personas en vez de una. Dónde se rompe la imagen: una segunda lectura solo te cuesta tiempo, mientras que una segunda pasada por un modelo cuesta tanto cálculo como una capa extra.