Clicked Gallery

O que é tokenização?

Subrayado en un documento técnico real. Explicado por Clicked.

Usado numa frase

During preprocessing, tokenization splits the raw text into subword units the model actually reads.

O leitor sublinhou uma palavra na documentação. O Clicked explicou o termo técnico «tokenization» em termos simples:

Explicado em três níveis

●○○

Overview

▾

Tokenização é como os modelos de IA picam o texto em pedaços antes de lê-lo. Os pedaços, chamados tokens, costumam ser trechos de palavras, não palavras inteiras. Os modelos enxergam, contam e cobram por esses tokens, não por palavras ou letras.

●●○

Detail

▾

Um tokenizador carrega um vocabulário fixo, tipicamente de 50.000 a 200.000 entradas, montado achando as combinações de caracteres que mais aparecem no texto de treinamento. Palavras comuns como "de" sobrevivem como tokens únicos, enquanto as mais raras são divididas, então infelicidade pode virar in, felici e dade. Em inglês isso dá em média perto de três quartos de uma palavra por token, mas a mesma frase em japonês ou híndi pode custar duas ou três vezes mais tokens, já que o vocabulário foi montado majoritariamente com texto em inglês. Essa diferença importa porque o preço das APIs é por milhão de tokens, então a pergunta idêntica é literalmente mais cara em algumas línguas. A tokenização também explica uma falha famosa: um modelo que não consegue contar as letras de "strawberry" não está vendo letras — está vendo dois ou três pedaços. Números também são picados em lugares estranhos, o que é uma das razões de a aritmética derrubar modelos.

●●●

Analogy

▾

Montar com LEGO. Um castelo não é moldado numa peça só; é montado a partir de um catálogo fixo de peças padrão, e quem monta só pensa em peças. Pergunte sobre o grão do plástico dentro de uma peça e você recebe um olhar vazio, porque a peça é a menor coisa que existe para essa pessoa.

Explicações de IA podem conter erros · Não é aconselhamento profissional

Os mesmos fatos, outra vibe — Modo slang 😎

●○○

Overview

▾

Tokenização é a IA picando o seu texto em pedacinhos chamados tokens antes de ler qualquer coisa. Nem letras, nem palavras — algo no meio do caminho, e é o único alfabeto que o modelo tem. 😎

●●○

Detail

▾

O tokenizador é dono de um cardápio fixo de 50 mil a 200 mil pedaços de texto, aprendido do que quer que ele tenha treinado, e cada frase que você manda é remontada a partir desse cardápio. Palavras do dia a dia viajam como um token só, enquanto as esquisitas são fatiadas, estilo in-felici-dade. O inglês fica na média de uns três quartos de palavra por token, mas a mesma pergunta em japonês pode queimar duas ou três vezes mais — e como a cobrança é por milhão de tokens, algumas línguas pagam literalmente um imposto de idioma. É também por isso que a história do "strawberry" acontece: o modelo nunca vê r-r-r, ele vê uns dois pedaços sem letra nenhuma dentro. Mesma coisa com matemática: os números são fatiados em pontos aleatórios, e depois todo mundo se surpreende que ele não sabe somar. 😎

●●●

Analogy

▾

Conversar só por emoji. Dá para dizer bastante coisa com o conjunto padrão, mas só o que o conjunto cobre. Não existe emoji para a sua terça-feira estranha e específica, então você aproxima com três que meio que apontam para ela — e algumas coisas simplesmente não têm como ser ditas.

Explicações de IA podem conter erros · Não é aconselhamento profissional

Definição formal — O mesmo termo, explicado da forma habitual

Tokenização é a segmentação do texto de entrada em unidades discretas extraídas de um vocabulário fixo, tipicamente construído via byte-pair encoding ou algoritmos de subpalavras similares que fundem sequências de caracteres frequentes. As contagens de tokens determinam o comprimento da sequência, o consumo de contexto e a cobrança por uso, e a granularidade da tokenização varia substancialmente entre línguas e escritas.

Quer que o Clicked explique termos como «tokenization» direto no seu navegador, até em PDFs?

Adicionar ao Chrome — Grátis

50 explicações grátis · Sem cartão de crédito

Mais da galeria

Como ler de verdade um artigo científico (sem se afogar)

Faça a leitura rápida com método, quebre o muro de jargão e conserve o que aprendeu — uma sessão, bem feita.

O que é uma janela de contexto?

Quanto texto uma IA consegue ter em mente de uma vez — e por que conversas longas esquecem o começo.

O que são embeddings vetoriais?

Significado transformado em coordenadas — como máquinas encontram o que é parecido sem bater uma única palavra.

O que é retropropagação (backpropagation)?

Como um único erro final vira um ajuste preciso para milhões de configurações — o Atingir Meta em escala.

O que é geração aumentada por recuperação (RAG)?

Faça a IA responder a partir dos seus documentos — primeiro a busca, depois a resposta, com as fontes à vista.

O que significa uma API idempotente?

Por que dez cliques cobram uma vez só — a propriedade que torna as retentativas seguras.