¿Qué es el test-time compute?

El test-time compute (cómputo en tiempo de prueba) es el cómputo que gasta un modelo de IA ya entrenado mientras responde una pregunta. El cómputo son las operaciones aritméticas que hacen los chips, y más cómputo cuesta electricidad y tiempo. Los ingenieros llaman prueba (test) a ejecutar un modelo terminado, así que el tiempo de prueba es el momento de responder, a diferencia del entrenamiento, la ejecución única que construyó el modelo. El mismo modelo acierta más preguntas difíciles cuando se le permite más aritmética por respuesta. Hay tres formas de permitírselo: razonar más extensamente antes de responder, producir un lote de respuestas y quedarse con la más común, o hacer que un verificador aparte clasifique sus intentos. OpenAI mostró las dos últimas en un examen de una competición de matemáticas de 15 preguntas en 2024. Un modelo que respondía una vez cada pregunta sacó un 74 %. Con 64 respuestas por pregunta, quedándose con la más común, sacó un 83 %. Con 1.000 respuestas y un verificador eligiendo la mejor, sacó un 93 %. El modelo no cambió nunca. La factura sí: cada intento extra es aritmética, pagada en segundos de reloj y en el precio de la respuesta.

El test-time compute es la aritmética que hace un modelo de IA en el momento de responder, a diferencia de la aritmética que lo entrenó. Gastar más por pregunta saca mejores respuestas de un modelo que ya está construido. El cómputo se mide en operaciones, porque las operaciones son lo que cuesta horas de chip y electricidad, y la espera viene de ellas. Los ingenieros llaman prueba a ejecutar un modelo terminado, de ahí el nombre. El entrenamiento fijó el modelo una vez, y nada de esto cambia lo que construyó el entrenamiento. Gastar más en el momento de responder toma una de tres formas. El modelo puede escribir un razonamiento más largo antes de responder, que es el chain-of-thought: su respuesta sale palabra a palabra, así que más palabras antes de la última es más espacio para trabajar, comprobar y volver a intentarlo. Puede producir varias respuestas a la misma pregunta y quedarse con la más común, de modo que un fallo casual en un intento queda en minoría frente al resto. O un verificador aparte, entrenado para distinguir intentos buenos de malos, puede clasificar sus intentos y elegir uno. El bucle, en el que un modelo vuelve a pasar por sus propias capas antes de que aparezca ninguna palabra, es una cuarta forma. Un estudio de 2024 le puso un presupuesto. Compara un modelo modesto con otro 14 veces más grande. El grande hace más o menos 14 veces la aritmética por cada palabra, así que con las mismas operaciones totales el pequeño puede producir unas 14 veces más palabras o intentos. Gastado en más intentos y revisiones, con un verificador eligiendo entre ellos, el presupuesto del modelo modesto le ganó al del grande, pero solo en preguntas que el modesto conseguía resolver algunas veces. En preguntas fuera de su alcance, más intentos fallaban igual, solo que más despacio. Nadie mira las soluciones en nada de esto: la votación y el verificador trabajan solo con los intentos. El coste cae por pregunta, en la inferencia: cada palabra e intento extra es aritmética, y por eso las respuestas pensadas tardan más y se cobran más caras. Eso deja dos diales. Las leyes de escala describen el primero, que se fija antes de que exista el modelo: su tamaño y con cuánto se entrenó. El test-time compute es el segundo, que se fija por pregunta, después de que el modelo exista y sin cambiarlo.

El test-time compute es el cómputo que gasta un modelo de IA ya entrenado por pregunta, y darle más al mismo modelo, más intentos o más razonamiento, sube su nota hasta cierto punto. Aparcar en línea funciona igual. Un conductor con experiencia entra en un hueco estrecho a la primera. Un conductor más novato, con tres intentos, normalmente también entra, sin más habilidad de la que tenía en el primero. Los intentos extra compensan en un hueco que el novato casi consigue. Un hueco que es simplemente demasiado corto se queda vacío por muchos intentos que haga, y cada intento cuesta tiempo y atasca la calle. La habilidad del conductor es el tamaño y el entrenamiento del modelo, los intentos son el test-time compute, el hueco casi asequible es la pregunta a su alcance y el hueco demasiado corto es la pregunta fuera de él. Hasta aquí llega la comparación: un conductor ve qué intento salió bien, mientras que a un modelo se lo tiene que decir una votación o un verificador.