O que é memória de alta largura de banda (HBM)?

A memória de alta largura de banda, ou HBM, é memória construída como uma pilha de chips colocada sobre a mesma placa que o processador, ligada a ele por mais de mil fios que transportam dados ao mesmo tempo. Para comparar, um canal de memória comum funciona com 64 fios. Essa largura existe porque um processador moderno termina a sua conta antes de uma ligação estreita lhe entregar o lote seguinte de números, ou seja, quem dita o ritmo é a entrega, não o cálculo. A HBM alarga essa entrega, e por estar construída sobre a mesma placa faz também com que cada viagem seja curta. Muda a rapidez com que os números chegam ao chip, não o que o chip pode fazer com eles.

A memória de alta largura de banda é memória redesenhada em torno de um único problema: os processadores ficaram mais rápidos a calcular do que a memória comum ficou a entregar os números com que eles trabalham. Essa distância tem nome, o muro da memória, e em boa parte do trabalho de um chip de IA o limite é o muro, não a velocidade de cálculo. A HBM responde de duas maneiras. Primeiro, largura. Forçar uma ligação estreita a correr cada vez mais depressa custa energia e complica-se a cada passo, por isso a HBM usa mais de mil fios lado a lado. O ganho vem do número de fios, não do ritmo de qualquer um deles. Segundo, proximidade. Os chips de memória são empilhados numa torre e colocados sobre a mesma placa de silício que o processador, de modo que cada viagem dos dados é curta e barata. Eis o que essa combinação dá. No caso mais simples, um modelo cujos números ocupam 100 gigabytes é lido por inteiro a cada palavra que escreve. Uma memória que move 2 terabytes por segundo move 2.000 gigabytes, portanto completa essa leitura de 100 gigabytes 20 vezes por segundo. Esse é o tecto: 20 palavras por segundo, e um cálculo mais rápido não o levanta. Só o levanta memória mais larga e mais próxima. É por isso que os números de memória de um chip de IA aparecem ao lado dos de velocidade em todas as fichas técnicas, e é por isso que esta memória não se acrescenta depois: vem integrada no encapsulamento do processador, não encaixada numa ranhura.

A memória de alta largura de banda é uma bancada de embalagem mais larga, posta mesmo ao lado das prateleiras. Dois trabalhadores de armazém preparam encomendas com as mesmas mãos rápidas. Um tem uma bancada estreita onde cabe um punhado de artigos, um depósito ao fundo do corredor e um turno que é sobretudo caminhar: embalar um pouco, caminhar, repor, voltar. A outra tem uma bancada três vezes mais larga, cheia com tudo o que as próximas encomendas precisam, a um braço de distância das prateleiras. Ela despacha muito mais embrulhos por hora sem embalar mais depressa, porque embalar nunca foi a parte lenta. Ir buscar é que era. É isso a HBM: o mesmo trabalhador, uma superfície mais larga, um caminho mais curto.