Clicked Gallery

O que é uma unidade de processamento tensorial (TPU)?

Subrayado en un documento técnico real. Explicado por Clicked.

Usado numa frase

The paper credited the speedup to running the model on tensor processing units rather than general-purpose hardware.

O leitor sublinhou uma palavra na documentação. O Clicked explicou o termo técnico «tensor processing units» em linguagem simples:

Explicado em três níveis

Os mesmos fatos, outra vibe — Modo slang 😎

O método Clicked

●○○

Overview

Uma unidade de processamento tensorial, ou TPU, é um chip desenhado pela Google para fazer um só tipo de conta: multiplicar grelhas de números. É esse o trabalho em que as redes neurais passam quase todo o tempo. Um tensor é precisamente uma grelha dessas, por isso o chip leva o nome daquilo que multiplica. Os chips ocupam os degraus de uma escada, e cada degrau entrega flexibilidade em troca de mais velocidade numa única tarefa. Uma CPU guarda uns poucos núcleos espertos que chegam para tudo; uma GPU guarda milhares de núcleos simples para trabalho em paralelo; uma TPU funde a única operação no seu próprio cabeamento.

●○○

Overview

Uma unidade de processamento tensorial, TPU, é o que aconteceu quando a Google olhou para a factura da IA e deixou de pagar por versatilidade. Num chip normal, a conta a sério ocupa talvez 1 parte em 10 do silício; o resto é maquinaria para estar pronto seja para o que for. O trabalho para que a TPU foi construída pede um único favor: multiplica a grelha, outra vez, para sempre. Então a TPU fica com o motor de grelhas, deita fora quase tudo o resto, e faz o seu truque único em volume de grosso. Versátil? Nem por sombras. Barata no único trabalho que interessa? É toda a ideia. 😎

Uma ideia rápida — muitas vezes é tudo de que você precisa.

●●○

Detail

Uma unidade de processamento tensorial é um chip que faz um só tipo de conta, a multiplicação de grelhas sobre a qual as redes neurais são construídas, e quase mais nada. A Google desenhou-o assim. Toda a capacidade que um chip carrega custa espaço e energia mesmo enquanto está parada: circuitos para decidir o que corre a seguir, para lidar com qualquer género de programa. Tira-os e o espaço libertado leva mais unidades de multiplicação. A primeira TPU, a trabalhar nos centros de dados da Google desde 2015, mostra o que isso compra. Uma unidade de multiplicação faz um trabalho minúsculo: multiplica um par de números. Aquele chip levava 65.536 delas a trabalhar ao mesmo tempo e varria uma grelha inteira numa só passagem, ali onde um processador comum avança uns poucos números de cada vez. O desenho tem um custo. Uma TPU não pode ser apontada para longe da sua única operação, por isso ganha o seu sustento onde essa operação corre em volume enorme. A Google, a correr redes neurais o dia inteiro, é um sítio desses, e é por isso que uma empresa de pesquisa desenha chips. A maior parte do restante trabalho de IA continua a correr em chips mais flexíveis, em parte porque as TPU são sobretudo alugadas através da nuvem da Google, e em parte porque a flexibilidade é mais segura enquanto os modelos continuam a mudar. As primeiras gerações só conseguiam correr modelos já prontos, recebendo perguntas e produzindo respostas; as seguintes também fazem o treino. O que nunca mudou é a troca: as capacidades deixadas de fora do cabeamento não voltam a ser acrescentadas.

●●○

Detail

Uma unidade de processamento tensorial é o que sobra de um chip quando se apaga tudo menos o trabalho. Silício é área de chão. Na TPU número um, a parte que decide o que acontece a seguir ocupava 2 em cada 100 unidades desse chão, e a conta mais os dados que a alimentam ocupavam quase dois terços. Um processador geral está mais perto do contrário: quase todo o chão vai para flexibilidade, para planear, prever e andar a mexer coisas, e à conta honesta calha um canto. Nenhuma das plantas está errada. São apostas honestas em futuros diferentes. O chip geral aposta que a tua próxima tarefa é desconhecida, por isso agarra-se a todas as ferramentas. A TPU aposta que a tua próxima tarefa é igual ao último milhão, por isso aparafusa uma ferramenta ao chão e arruma o resto. Sem gavetas, sem sobresselentes, sem por via das dúvidas. Quando a aposta sai certa, tiras mais conta por watt do que o chip flexível conseguiria dar. Quando o trabalho se muda para outro lado, a TPU fica ali de pé a segurar a sua única ferramenta, à espera que o trabalho antigo volte. 😎

Quer mais? Um clique aprofunda.

●●●

Analogy

Uma unidade de processamento tensorial é uma prensa tipográfica, onde um processador comum é uma mão que escreve. A mão produz qualquer página que lhe peçam, ao ritmo de uma mão. A prensa produz exactamente uma página, a que está montada nos seus tipos, e montar esses tipos é lento e caro. Mas, uma vez montados, as cópias saem aos milhares, mais depressa do que qualquer quantidade de mãos. Muda-se a página e a prensa tem de ser remontada; pede-se um poema a meio da tiragem e ela não pode servir. As prensas nunca substituíram as canetas. Ficaram com a única situação que paga a montagem: a mesma página, pedida em números enormes. É isso a TPU: uma página, montada em silício, impressa o dia inteiro.

●●●

Analogy

Uma unidade de processamento tensorial é a máquina de waffles numa cozinha cheia de frigideiras. Uma frigideira cozinha o que for, ovos, bife, panquecas, o que a manhã pedir, porque a frigideira não parte de suposição nenhuma. A máquina de waffles parte de uma suposição enorme: só alguma vez lhe vão pedir waffles. A receita está fundida no próprio metal, por isso entrega waffles perfeitos mais depressa do que a frigideira alguma vez conseguiria, e é uma ferramenta comicamente má para tudo o resto. Compra uma só se comeres mesmo essa quantidade de waffles. É isso a TPU: um prato, integrado na máquina, para uma cozinha que o serve o dia inteiro. 😎

Conceito novo? Um exemplo do dia a dia faz clicar — novas analogias quando quiser.

Explicações de IA podem conter erros · Não é aconselhamento profissional

Definição formal — O mesmo termo, explicado da forma habitual

Uma unidade de processamento tensorial (TPU) é um circuito integrado de aplicação específica, um ASIC, desenvolvido pela Google para acelerar cargas de trabalho de redes neurais, com o fabrico a cargo de parceiros industriais. O seu núcleo é uma matriz sistólica: uma grande grelha de unidades de multiplicação e acumulação através da qual os dados fluem passo a passo, de modo que a multiplicação de matrizes avança sem regressar à memória entre operações. A primeira geração, instalada nos centros de dados da Google em 2015 e descrita publicamente em 2017, usava uma matriz de 256 por 256 com aritmética de 8 bits e servia apenas inferência; as gerações seguintes acrescentaram suporte para treino e formatos de maior precisão. As TPU são oferecidas a clientes externos sobretudo através dos serviços de nuvem da Google.

Quer que o Clicked explique termos como “tensor processing units” direto no seu navegador, inclusive em PDFs?

Adicionar ao Chrome — Grátis

50 explicações grátis · Sem cartão de crédito

Mais da galeria

O que é uma GPU (unidade de processamento gráfico)?

O chip que faz milhares de cálculos de uma vez. Feito para gráficos, hoje o motor da IA.

O que é inferência (em IA)?

O modelo fazendo o trabalho de verdade — e por que a metade barata acaba custando mais.

O que é treinamento (em IA)?

O processo que constrói um modelo por exemplo. Conversar com ele depois não muda nada.

O que é quantização?

Guardar os números de um modelo com menos precisão — metade da memória, quase nenhuma perda.

O que é uma rede neural?

Matemática que aprende as regras a partir de exemplos em vez de tê-las escritas — e por que isso vence.

O que são leis de escala (scaling laws)?

O padrão por trás da corrida da IA: modelos maiores melhoram numa curva que dá para prever, e cada passo custa dez vezes o anterior.