O que é um cluster de computação?

Um cluster de computação é um grupo grande de computadores independentes, ligados por conexões rápidas para que um único trabalho rode em todos ao mesmo tempo. Cada computador é uma máquina completa, com seus próprios chips de processamento e sua própria memória. Como essa memória é dele e de mais ninguém, tudo o que uma máquina calcula precisa ser enviado pelas conexões antes que as outras possam usar. Por isso um trabalho espalhado por mil máquinas para depois de cada passo para que elas troquem o que descobriram, e o passo seguinte espera a mais lenta se reportar. O tamanho é contado em chips e não em máquinas, porque cada máquina costuma levar vários: em 2026, os maiores clusters de treino de IA eram anunciados com 100.000 chips ou mais.

Um cluster de computação é o que se monta quando um trabalho não cabe em máquina nenhuma: centenas ou milhares de computadores ligados entre si para resolver um mesmo problema. Dividir um trabalho entre máquinas deveria dividir o tempo na mesma proporção, então dez máquinas terminariam em um décimo. Não é o que acontece. Parte de todo trabalho não pode ser dividida: o preparo que cada máquina precisa antes que qualquer uma comece, e essa parte fixa continua do mesmo tamanho por mais máquinas que entrem. Digamos que um trabalho leve 100 dias sozinho, sendo 5 desses dias o preparo fixo e os outros 95 o trabalho divisível. Dez máquinas reduzem esses 95 dias para 9,5, então o trabalho termina em 14,5 dias e não em 10. Cem máquinas reduzem esses mesmos 95 dias para menos de um, e ainda assim o trabalho leva uns 6, porque os 5 dias fixos não saem do lugar. Esses 5 dias são um piso que nenhum número de máquinas atravessa, e a regra por trás disso tem nome: a lei de Amdahl. O preparo, no entanto, é um custo de uma vez só. Depois que o trabalho está rodando, as máquinas ainda precisam comparar o que encontraram, normalmente ao fim de cada passo, e o passo seguinte só começa quando a mais lenta se reporta. Cada uma dessas trocas atravessa a fiação, e é por isso que as conexões entre as máquinas são projetadas e pagas com o mesmo cuidado que as máquinas. Nem todo cluster paga esse preço: mil trabalhos sem relação entre si, rodando lado a lado e sem nada a comparar, se viram bem com redes comuns. As máquinas também quebram, e cada uma guarda um pedaço do trabalho, então uma falha para a execução em vez de deixá-la mais lenta. Espalhado por alguns milhares de máquinas ao longo de um mês, isso é rotina, então trabalhos longos salvam o progresso de tempos em tempos e retomam do último ponto salvo em vez de começar de novo.

Um cluster de computação é como uma equipe grande levantando uma torre andar por andar. O serviço é grande demais para um pedreiro só, então quarenta se espalham pelo andar e cada um pega um trecho. Ninguém pode começar o andar de cima enquanto todos os trechos deste não estiverem prontos. Assim a equipe anda no ritmo de quem termina por último, e o pedreiro rápido não ganha nada terminando antes. Além disso, antes de subir, os trechos precisam ser conferidos entre si para o nível fechar, e essa conferência leva um tempo próprio. Coloque mais pedreiros e cada trecho fica menor, mas a conferência e a espera crescem. Um cluster funciona igual. Cada máquina pega um trecho de cada passo, nenhuma segue enquanto todas não compararem os resultados, e quanto mais máquinas houver, maior a parte de cada passo que vai para comparar em vez de trabalhar.