¿Qué es una unidad de procesamiento tensorial (TPU)?

Una unidad de procesamiento tensorial, o TPU, es un chip diseñado por Google para hacer un solo tipo de aritmética: multiplicar rejillas de números. Ese es el trabajo en el que las redes neuronales pasan casi todo su tiempo. Un tensor no es más que una rejilla así, de modo que el chip lleva el nombre de aquello que multiplica. Los chips ocupan los peldaños de una escalera, y cada peldaño cede flexibilidad a cambio de más velocidad en una sola tarea. Una CPU conserva unos pocos núcleos lo bastante listos para cualquier cosa; una GPU conserva miles de núcleos simples para trabajo en paralelo; una TPU graba la única operación en su propio cableado.

Una unidad de procesamiento tensorial es un chip que hace un solo tipo de aritmética, la multiplicación de rejillas sobre la que se construyen las redes neuronales, y casi nada más. Google lo diseñó así. Toda capacidad que un chip conserva cuesta espacio y energía aunque esté sin usar: circuitos para decidir qué se ejecuta después, para manejar cualquier clase de programa. Quítalos y el espacio liberado alberga más unidades de multiplicación. La primera TPU, en los centros de datos de Google desde 2015, muestra lo que eso compra. Una unidad de multiplicación hace un trabajo diminuto: multiplica un par de números. Aquel chip llevaba 65.536 funcionando a la vez y barría una rejilla entera de una pasada, donde un procesador corriente avanza de unos pocos números en unos pocos números. El diseño tiene un precio. Una TPU no se puede apuntar lejos de su única operación, así que se gana el sueldo allí donde esa operación corre a un volumen enorme. Google, que ejecuta redes neuronales todo el día, es uno de esos sitios, y por eso una empresa de búsqueda diseña chips. La mayor parte del resto del trabajo de IA sigue corriendo en chips más flexibles, en parte porque las TPU se alquilan sobre todo a través de la nube de Google, y en parte porque la flexibilidad es más segura mientras los modelos siguen cambiando. Las primeras generaciones solo podían ejecutar modelos ya terminados, recibir preguntas y producir respuestas; las posteriores también hacen el entrenamiento. Lo que nunca ha cambiado es el intercambio: las capacidades que quedaron fuera del cableado no se pueden volver a añadir.

Una unidad de procesamiento tensorial es una imprenta, donde un procesador corriente es una mano que escribe. La mano produce cualquier página que le pidas, al ritmo de una mano. La imprenta produce exactamente una página, la que está montada en sus tipos, y montar esos tipos es lento y caro. Pero una vez montados, las copias salen de la máquina por millares, más rápido que cualquier cantidad de manos. Cambia la página y hay que volver a montar la imprenta; pídele un poema a media tirada y no puede complacerte. Las imprentas nunca sustituyeron a las plumas. Se quedaron con la única situación que compensa el montaje: la misma página, pedida en cantidades enormes. Eso es la TPU: una página, montada en silicio, impresa todo el día.