¿Qué es la memoria de gran ancho de banda (HBM)?

La memoria de gran ancho de banda, o HBM, es memoria construida como una pila de chips colocada sobre la misma placa que el procesador, unida a él por más de mil cables que transportan datos a la vez. Para comparar, un canal de memoria corriente funciona con 64 cables. Esa anchura existe porque un procesador moderno termina su aritmética antes de que una conexión estrecha le entregue el siguiente lote de números, así que el ritmo lo marca la entrega, no el cálculo. La HBM ensancha esa entrega, y estar construida sobre la misma placa hace además que cada viaje sea corto. Cambia la rapidez con que los números llegan al chip, no lo que el chip puede hacer con ellos.

La memoria de gran ancho de banda es memoria rediseñada en torno a un solo problema: los procesadores se volvieron más rápidos calculando que la memoria corriente entregando los números con los que trabajan. Ese hueco tiene nombre, el muro de la memoria, y en buena parte del trabajo de un chip de IA el límite es el muro, no la velocidad de cálculo. La HBM responde de dos maneras. Primero, anchura. Forzar una conexión estrecha para que vaya cada vez más rápido cuesta energía y se complica a cada paso, así que la HBM usa más de mil cables en paralelo. La ganancia viene del número de cables, no del ritmo de ninguno. Segundo, cercanía. Los chips de memoria se apilan en una torre y se colocan sobre la misma placa de silicio que el procesador, de modo que cada viaje de los datos es corto y barato. Esto es lo que consigue esa combinación. En el caso más simple, un modelo cuyos números ocupan 100 gigabytes se lee entero por cada palabra que escribe. Una memoria que mueve 2 terabytes por segundo mueve 2.000 gigabytes, así que completa esa lectura de 100 gigabytes 20 veces por segundo. Ese es el techo: 20 palabras por segundo, y una aritmética más rápida no lo sube. Solo lo sube una memoria más ancha y más cercana. Por eso las cifras de memoria de un chip de IA aparecen junto a las de velocidad en toda ficha técnica, y por eso esta memoria no se puede añadir después: va integrada en el encapsulado del procesador, no enchufada en una ranura.

La memoria de gran ancho de banda es un mostrador de empaquetado más ancho, puesto justo al lado de las estanterías. Dos operarios de almacén preparan pedidos con las mismas manos rápidas. Uno tiene un mostrador estrecho que sostiene un puñado de artículos, un almacén al fondo del pasillo y un turno que consiste sobre todo en caminar: empaqueta un poco, camina, repone, vuelve. La otra tiene un mostrador tres veces más ancho, cargado con todo lo que necesitan sus siguientes pedidos, a un brazo de distancia de las estanterías. Ella despacha muchos más paquetes por hora sin empaquetar más rápido, porque empaquetar nunca fue la parte lenta. Ir a buscar lo era. Eso es la HBM: el mismo operario, una superficie más ancha, un camino más corto.