Token não é palavra: entenda a unidade que define memória, velocidade e custo da IA

TL;DR

Você não conversa com uma IA usando palavras. Antes de entender sua pergunta, ela transforma praticamente tudo em tokens — pedaços estatísticos de texto que viram números, viram vetores, viram custo e viram memória. Quem controla os tokens controla boa parte do sistema.

• Token é a menor unidade que um modelo de linguagem processa — não é palavra, não é caractere, é um pedaço que vem de um vocabulário fixo.
• Token governa quatro coisas ao mesmo tempo: memória (contexto), velocidade (latência), custo (preço de API) e capacidade (o que cabe na janela).
• Você paga separado por tokens de entrada, de saída, de raciocínio, de ferramenta e de cache — e cada um consome espaço da janela de forma diferente.

~ 9 min de leitura · 1443 palavras

O que é token (e por que ele não é palavra)

Token é a menor unidade de texto que um modelo de linguagem entende. Cada modelo tem um vocabulário fixo — uma lista de tokens que ele aprendeu durante o treinamento — e qualquer texto novo precisa ser recortado em pedaços que pertençam a essa lista.

“Palavra” é uma abstração humana. “Token” é uma abstração de máquina.

Em português, uma palavra como “infraestrutura” pode virar um token único em um modelo e dois tokens em outro. O verbo “implementando” pode ser três tokens em um modelo e dois em outro. A mesma frase, dependendo do tokenizer, pode custar 30% a mais ou a menos.

O que é tokenização (e por que cada modelo faz diferente)

Tokenização é o processo de recortar texto em tokens. Cada modelo traz o próprio tokenizer, treinado em cima do corpus que ele viu, e a forma como ele corta depende do que aprendeu.

Três famílias dominam o mercado hoje:

• BPE (Byte Pair Encoding) — usada em GPT e Llama; começa de caracteres e funde os pares mais frequentes até atingir o tamanho de vocabulário desejado.
• SentencePiece — usada em modelos do Google e do Meta; trata o texto como sequência de bytes Unicode e não depende de pré-tokenização por espaços.
• WordPiece — usada historicamente em BERT; parecida com BPE, mas escolhe merges por probabilidade em vez de frequência bruta.

As três produzem resultados parecidos para inglês e bastante diferentes para português, chinês e árabe — porque essas línguas não dividem o texto nos mesmos limites que o inglês.

Isso explica por que a mesma frase em português geralmente consome mais tokens do que em inglês. Não é ineficiência do modelo — é o tokenizer cortando em pontos diferentes.

Por que a IA não trabalha diretamente com palavras

Redes neurais não lêem caracteres nem palavras. Elas operam em números. Para que um texto vire cálculo, ele precisa virar um vetor de números — e o caminho mais barato é transformar cada pedaço relevante em um índice inteiro que aponta para uma linha em uma tabela de embeddings.

Três granularidades eram candidatas quando os primeiros modelos foram treinados:

• Palavras inteiras — vocabulário explodiria (centenas de milhares de palavras em qualquer língua), palavras raras nunca apareceriam no treino suficiente e modelos diferentes teriam vocabulários incompatíveis.
• Caracteres — granularidade pequena demais; cada letra carrega pouquíssimo significado e o modelo precisa de muito contexto para reconstruir uma palavra.
• Tokens — o meio-termo que sobra. Grande o suficiente para carregar significado, pequeno o suficiente para caber em vocabulários gerenciáveis.

Vocabulário de um modelo: o dicionário fechado que ninguém escolheu

O vocabulário de um modelo é decidido durante o pré-treinamento e congelado. Nenhum ajuste fino, nenhum prompt e nenhum fine-tuning muda o vocabulário — ele só aprende a usar melhor os tokens que já tem.

Modelos recentes trabalham com vocabulários entre 32 mil e 256 mil tokens. GPT-4 usa 100 mil. Llama 3 usa 128 mil. Claude usa cerca de 65 mil para texto puro e um vocabulário expandido para multimodal. Cada token do vocabulário virou um vetor de embedding com milhares de dimensões, e cada modelo aprendeu a posicionar esses vetores em um espaço semântico que faz sentido para os dados que ele viu.

Por isso um modelo “sabe” uma palavra mesmo sem ter visto o texto exato: ele viu os tokens que a compõem em outros contextos.

Tokens de entrada, saída e raciocínio (três cobranças distintas)

Quando você chama uma API de modelo, cinco contadores de tokens rodam em paralelo, e cada um pode ser cobrado de jeito diferente. Entender quem é quem é a diferença entre uma fatura previsível e uma surpresa no fim do mês.

Cinco sinais de que você está pagando mais do que devia em tokens:

• Você relê o mesmo system prompt de 20 mil tokens a cada chamada e não usa cache de prefixo.
• Você imprime logs inteiros de execução dentro do contexto porque “é mais barato que filtrar antes”.
• Você deixa o agente acumular histórico de tool calls sem podar entre turnos.
• Você usa modelo com raciocínio ativado para tarefas que não precisam de cadeia de pensamento.
• Você mede custo total por chamada em vez de custo por token útil entregue.

A primeira coisa que aparece numa auditoria de produção é que 60-80% do custo está em prompts reenviados sem necessidade e em histórico não gerenciado. Token é o que mostra isso.

Tipo	O que conta	Quando é medido
Tokens de entrada	O prompt que você envia	Antes da geração começar
Tokens de saída	A resposta que o modelo gera	Conforme o modelo emite cada token
Tokens de raciocínio	Passos intermediários em modelos com “thinking”	Internamente, antes da resposta final
Tokens de ferramenta	Texto que entra e sai de chamadas externas	A cada tool call
Tokens de cache	Prefixo de prompt reaproveitado entre chamadas	Detectado pelo matcher de prefixo

O preço por token varia: saída costuma custar de 3× a 5× mais que entrada. Tokens de raciocínio em modelos como o1 ou Claude com extended thinking são cobrados como saída, mesmo que nunca cheguem ao usuário. Tokens de cache, quando o provedor oferece, custam uma fração do preço normal — em alguns casos 10% do preço de entrada.

Ferramentas, cache e janela de contexto (onde o token some ou reaparece)

Janela de contexto é o limite máximo de tokens que um modelo consegue processar de uma vez. Modelos atuais trabalham entre 128 mil e 2 milhões de tokens de janela. Mas esse número não é tudo: ele inclui entrada, saída, raciocínio, ferramentas e system prompt juntos.

Cache de prompt é o que faz um agente não pagar duas vezes pelo mesmo contexto. Quando o provedor detecta que o início do seu prompt é idêntico ao da chamada anterior, ele cobra apenas a parte nova — em alguns provedores, isso significa pagar 1% do custo de uma chamada sem cache. É o que torna viável um agente que envia um system prompt de 20 mil tokens a cada mensagem.

Ferramentas comem janela das duas pontas. Cada tool call insere texto de descrição da ferramenta, dos argumentos e do resultado no histórico. Em uma cadeia com 10 chamadas, o histórico acumulado pode ultrapassar 50 mil tokens sozinho — mesmo que o usuário só tenha escrito três linhas.

Idioma, código-fonte e o custo invisível de um projeto grande

O custo de tokens varia por idioma porque o tokenizer varia por idioma. Em modelos otimizados para inglês, uma frase em português pode custar entre 1,5× e 2,2× mais tokens do que a tradução em inglês.

Código-fonte é particularmente caro. Um arquivo `.cs` de 200 linhas vira entre 1.500 e 3.000 tokens dependendo deindentação, nomes de variáveis e comentários. Um projeto .NET médio com 500 arquivos passa de 1 milhão de tokens só para o código-fonte — antes de incluir dependências, testes, build artifacts e documentação.

A conta prática:

• 500 arquivos × 2.500 tokens/arquivo ≈ 1.250.000 tokens
• Em um modelo com janela de 200 mil tokens, isso não cabe em uma única chamada
• O agente precisa fatiar: indexar, recuperar, resumir, reenviar — e cada fatia custa entrada, saída e raciocínio

Quem controla os tokens controla o sistema

Token não é detalhe técnico. É a variável que decide o que cabe, o que custa, o que demora e o que o modelo consegue lembrar.

Projetos de IA em produção que estouram custo quase sempre estouram porque ninguém mediu tokens antes de colocar em produção. Projetos que perdem qualidade porque “o modelo esqueceu o começo” quase sempre estouraram a janela de contexto. Latências inexplicáveis quase sempre vêm de prompts que cresceram sem governança.

A próxima vez que alguém disser “a IA não respondeu bem”, pergunte primeiro: quantos tokens entraram, quantos saíram, quanto da janela já estava ocupada e quanto disso era cache reutilizado. A resposta está sempre nos tokens — e em quem decidiu não olhar para eles.

Leitura relacionada

• A IA não está substituindo programadores. Está destruindo a definição antiga de programador. — mostra como a IA muda o trabalho do dev quando o modelo vira peça central do fluxo.
• Software supply chain: o código que ninguém do seu time escreveu — coloca em perspectiva quem realmente consome e produz código quando a IA entra na cadeia.
• MCP virou infraestrutura. Agora vem a parte perigosa da segurança de agentes LLM. — mostra o outro lado da conta: cada tool call é token entrando e saindo, e cada chamada vira superfície de ataque.