7B, 70B, 400B: o tamanho de uma IA realmente determina sua inteligência?

TL;DR

Tamanho de modelo de IA não é sinônimo de inteligência. Um modelo com dez vezes mais parâmetros não é dez vezes mais capaz; em tarefas narrow como raciocínio estruturado, código e extração, modelos pequenos e bem treinados já vencem gigantes genéricos em 2025. O que decide o resultado é o conjunto — dados, pós-treinamento, arquitetura, e o tipo de tarefa. Quando alguém escolhe 70B ou 400B só porque o número é maior, está pagando latência, custo e privacidade por um ganho que pode nem existir para o caso de uso real. Quando escolhe o tamanho certo para o trabalho, o tamanho de modelo de IA vira variável de engenharia, não argumento de marketing.

• O número de parâmetros (7B, 70B, 400B) é a variável mais visível e a mais mal interpretada.
• Mixture of Experts (MoE) separou “parâmetros totais” de “parâmetros ativos”: Mixtral 8x7B tem 47B totais mas só ~13B ativos por token.
• Dados e pós-treinamento (SFT, RLHF, DPO) explicam mais da capacidade do que a escala bruta.
• Distillation e quantização 4-bit tornaram modelos de 7B competitivos em produção.
• O critério prático: tamanho de modelo de IA deve ser escolhido pela tarefa, latência e custo — não pela régua de marketing.

~ 12 min de leitura · 2136 palavras

O que é um parâmetro, finalmente

Antes de discutir se tamanho de modelo de IA determina inteligência, vale fixar o que é cada bilhão que entra no nome. Um parâmetro é um número real — um peso — que a rede ajusta durante o treino para transformar a sequência de entrada na próxima palavra provável. Multiplicações e somas, bilhões de vezes, em camadas empilhadas. Nada mais.

Três consequências práticas saem daí:

• Memória para inferência escala com o número de parâmetros. Um modelo de 7B em float16 cabe em ~14 GB de VRAM; 70B em float16 pede ~140 GB; 400B em float16 não cabe em uma única GPU de consumo.
• Custo por token cresce quase linearmente com os parâmetros ativos. Dobrar tamanho não dobra o preço — multiplica, porque a operação de atenção (attention) também escala.
• Latência por token cresce, e throughput (tokens por segundo em batch) depende do regime. Em batch pequeno, modelo grande é lento. Em batch grande, GPU fica saturada e o custo por token cai, mas a primeira palavra demora.

O erro comum é tratar “B” como nota de qualidade. Não é. É orçamento computacional congelado em arquivo. Quando alguém diz “modelo de 400B”, o que existe no disco são 400 bilhões de números que, combinados, aprendem uma função estatística sobre linguagem. O que essa função aprendeu de fato depende do treinamento — e é aí que mora a inteligência real.

Bilhões de parâmetros e a nomenclatura B

A escala “B” virou régua de marketing porque é fácil de comunicar. Mas a régua esconde três confusões estruturais que valem ser nomeadas.

A primeira confusão: 1B não é 1B em todas as famílias. LLaMA-2 7B (Touvron et al., 2023) tem arquitetura densa. Falcon 11B é mais largo mas menos profundo. Phi-3-mini (Microsoft, 2024) tem 3.8B e performa como modelos 7B-13B em raciocínio estruturado. Comparar “B” entre famílias sem olhar arquitetura é como comparar carros pela cilindrada: ignoraターボ, injeção direta, hibridização.

A segunda: a régua “B” foi calibrada em benchmarks saturados. Em 2020, GPT-3 175B era estado-da-arte em MMLU. Em 2024, modelos 7B-13B pós-treinados já competem em benchmarks narrow. O salto aconteceu em capacidade por parâmetro, não em parâmetro total. Schaeffer, Miranda e Koyejo publicaram em 2023 o paper “Are Emergent Abilities of Large Language Models a Mirage?” mostrando que parte da percepção de “emergência” é estatística — é o ponto onde a métrica sai do ruído de medição, não onde a capacidade realmente aparece.

A terceira confusão, mais operacional: parâmetros por si só não dizem nada sobre uma tarefa narrow. Um LLM 7B ajustado em classificação de intenção para um domínio específico pode superar um 70B genérico em produção, simplesmente porque o 7B foi treinado para aquele caso. O benchmark público (MMLU, HumanEval, GSM8K) mede generalismo, não utilidade específica.

O resumo prático: ao avaliar o tamanho de modelo de IA, “B” entra na conta, mas é a primeira variável, não a única.

Parâmetros ativos vs totais: Mixture of Experts

A confusão mais importante hoje é a que Mixture of Experts (MoE) introduziu. Modelos densos tradicionais ativam todos os parâmetros para cada token. Modelos MoE dividem os parâmetros em “especialistas” (experts) e roteiam cada token para um subconjunto por vez.

O caso emblemático é Mixtral 8x7B (Mistral AI, 2024). O nome sugere 56B de parâmetros, mas a arquitetura tem 8 especialistas de 7B cada — totalizando ~47B — e apenas 2 especialistas são ativados por token. Resultado: a operação por token custa o equivalente a um modelo de ~13B densos, enquanto a capacidade de armazenamento é de 47B. É como ter uma biblioteca de 47B livros mas só consultar a estante relevante a cada pergunta.

Implicações:

• Memória de carregamento é 47B (precisa caber inteira na VRAM para servir).
• Computação por token é ~13B equivalente.
• Throughput é alto para o porte ativo, mas latência do primeiro token pode subir por causa do roteamento.

Outros modelos MoE em produção: DeepSeek-V3 (671B totais, ~37B ativos por token), Grok-1 (314B totais, ~86B ativos), DBRX (132B totais, ~22B ativos). A tendência é clara: o total cresce, o ativo fica controlado. Isso muda o que “tamanho” significa — quando o orquestrador fala em “tamanho de modelo de IA”, precisa distinguir ativo de total.

Para o dev que está decidindo deployment: o número que importa para o orçamento de inferência é o ativo, não o total. O total importa para o disco e para a memória do servidor. Confundir os dois leva a estimativas de custo erradas por fator de 3 a 5×.

O que realmente define capacidade: dados e pós-treinamento

A pergunta certa não é “qual modelo tem mais parâmetros”, e sim “qual modelo foi treinado com quais dados e qual foi o pós-treinamento aplicado”. O salto de capacidade entre 2023 e 2025 aconteceu mais em dados e pós-treinamento do que em escala bruta. Os três vetores que movem o ponteiro:

• Volume e qualidade do pré-treinamento. Phi-3-mini (Microsoft, 2024) com 3.8B é competitivo em raciocínio estruturado porque foi pré-treinado em dados sintéticos de alta qualidade (“textbook-quality data”), não porque tem mais parâmetros.
• Instruction tuning (SFT). Alinhar o modelo a seguir instruções via fine-tuning em pares (instrução, resposta) eleva dramaticamente a usabilidade sem mexer em escala.
• Preference optimization (RLHF, DPO, GRPO). Alinhar o modelo a preferências humanas via reinforcement learning ou otimização direta de preferência melhora factualidade, recusa segura e estilo. DeepSeek-R1-Distill-7B mostrou que um modelo 7B destilado de um raciocinador grande pode performar acima de modelos 70B genéricos em matemática e código.

O pós-treinamento virou a variável de maior alavancagem. Um 7B pós-treinado bate um 70B só pré-treinado na maioria dos benchmarks de uso prático. Isso muda a régua: a discussão sobre tamanho de modelo de IA precisa vir acompanhada de “com qual SFT”, “com qual preference tuning”, “com quais dados de destilação”.

Para tech lead escolhendo modelo: perguntar “qual o tamanho?” é necessário mas insuficiente. Perguntar “qual o pós-treinamento aplicado, com quais dados, validado em quais benchmarks de tarefa?” é o que separa decisão de engenharia de decisão de propaganda.

Distillation, quantização e a reinvenção do “pequeno”

Duas técnicas operacionais reposicionaram o “pequeno” no ciclo 2024-2025.

Distillation transfere conhecimento de um professor grande para um aluno menor. O aluno aprende a imitar a distribuição de saída do professor em dados de treino novos. O caso seminal é DistilBERT (Sanh et al., 2019), 60% do tamanho do BERT, 97% da acurácia em GLUE, 60% mais rápido. Em LLMs modernos, DeepSeek-R1-Distill-7B destila raciocínio de um professor 671B em um aluno 7B, mantendo parte significativa da capacidade de raciocínio em matemática e código.

Destilação não é grátis. O aluno herda a tendência estatística do professor, não a explicação. Se o professor erra sistematicamente, o aluno erra com mais confiança. Mas para tarefas narrow com ground truth claro (classificação, extração, sumarização factual), destilação entrega ganho desproporcional ao custo.

Quantização reduz a precisão numérica dos pesos. Converter float16 (16 bits por peso) para int8 (8 bits) ou int4 (4 bits) corta memória pela metade ou por quatro vezes, com degradação de acurácia tipicamente entre 1 e 5% em benchmarks públicos. GPTQ, AWQ, GGUF, bitsandbytes são as bibliotecas comuns.

Três pontos operacionais:

• Quantização 4-bit (Q4_K_M, Q4_0) roda modelos 7B em laptops com 6-8 GB de VRAM e modelos 70B em GPUs únicas de 24 GB com offload parcial. Isso democratizou o uso.
• Quantização agressiva (Q2, Q3) degrada raciocínio mas mantém tarefas narrow (classificação, extração) aceitáveis. Útil em edge devices.
• Trade-off latência vs memória: quantização reduz memória e带宽 de memória, mas não reduz FLOPs — a velocidade por token fica similar, o ganho é em batch size e custo de hardware.

A reinvenção do “pequeno” é o ponto central deste post. Em 2025, um 7B bem destilado e quantizado em Q4_K_M roda local em hardware de consumidor, performa em benchmark equivalente a um 70B de 2023, e custa zero por token. A pergunta “tamanho de modelo de IA” mudou de “qual o maior que cabe no orçamento” para “qual o menor que entrega a tarefa com qualidade aceitável”.

Quando o menor vence: o caso do modelo especializado

Há um conjunto de cenários onde o modelo menor vence o maior, e vale enumerar porque é onde a decisão técnica morde o orçamento real.

Onde o menor vence:

• Classificação de intenção ou sentimento em domínio restrito. BERT-base (110M, ~440MB) destrói GPT-4 em intenção de suporte se treinado em dados do domínio. O custo por chamada é ordens de grandeza menor.
• Extração estruturada (NER, slots, JSON determinístico). Um 7B ajustado com schema fixo extrai entidades com F1 acima de 0.95 em dados médicos, jurídicos e financeiros; o 70B genérico erra por tentar generalizar.
• Sumarização factual de documentos do domínio. Modelo 7B ajustado em sumarização de contratos ou laudos tem precisão maior que 70B genérico, que invariavelmente alucina cláusulas.
• Geração de código repetitivo (boilerplate, CRUD, testes). Um 7B especializado em padrões da casa gera código que parece escrito pelo time, com menos “vibe” exótico.
• Roteamento em cascata. Modelo pequeno classifica primeiro; só chamadas ambíguas sobem para modelo grande. Reduz custo médio por 5-10× mantendo qualidade.

Onde o menor perde:

• Raciocínio de múltiplos passos não estruturado. Plano, estratégia, debug de sistema novo — o 70B+ ainda tem vantagem mensurável.
• Generalização cross-domain. Quando o prompt vem de domínio nunca visto no treino, o maior generaliza melhor.
• Segurança e recusa calibrada. Modelos grandes pós-treinados com RLHF/DPO tendem a recusar com mais precisão; o pequeno pode concordar com prompt perigoso por não ter visto o suficiente.

A regra operacional: se a tarefa tem ground truth verificável e escopo bem definido, o menor vence quase sempre. Se a tarefa é aberta e o critério de qualidade é “faz sentido para um humano geral”, o maior ainda ajuda. O tamanho de modelo de IA ideal vive nesse eixo, não no número do cartão de apresentação.

Como escolher tamanho na prática

Critérios para a mesa de decisão, na ordem que importa:

• Tarefa e ground truth. Tem resposta certa verificável? Modelo menor e especializado. É aberta, criativa, raciocínio de múltiplos passos? Modelo maior ou cascata.
• Latência tolerada. P95 abaixo de 200 ms? Provavelmente 7B quantizado, rodando local ou em GPU dedicada. P95 acima de 2 s é aceitável? 70B+ cloud é viável.
• Custo por token e volume. 10 milhões de tokens/dia × 30 dias × $0.00001 vs $0.0001 por token — diferença de 10× no OPEX anual, suficiente para mudar a conta.
• Privacidade e residência de dados. Dados sensíveis (saúde, jurídico, financeiro) frequentemente exigem modelo local ou VPC dedicada, o que põe teto de tamanho pela VRAM disponível.
• Manutenção e versionamento. Modelo menor é mais barato de retreinar, ajustar e versionar. Modelo grande geralmente vem como serviço gerenciado, com menos controle de atualização.

Fluxo de decisão simplificado:

• Comece com o menor modelo pós-treinado para a tarefa (7B ou menor, destilado se necessário).
• Suba para 13B-34B se qualidade em benchmark de domínio ficar abaixo do aceitável.
• Considere 70B+ se (a) a tarefa for raciocínio aberto, (b) cascata não compensar, (c) o caso de uso tolerar latência.
• Avalie MoE se quiser capacidade alta com computação moderada: total alto, ativo baixo.
• Quantize (Q4 ou Q8) para deployment; mantenha o modelo não-quantizado para avaliação.

Escolher o porte do modelo é uma decisão técnica com custo mensal direto, e tratá-la como argumento de demo de keynote é o mesmo que escolher banco de dados pela cor do logo. A variável escala importa, sim, mas é só uma das variáveis que decidem o resultado em produção.

A conta final combina dados de treino, qualidade do pós-treinamento, escolha arquitetural e o caso de uso real. Um 7B ajustado em domínio específico vence 70B genérico em 8 de 10 cenários onde existe ground truth verificável. Um 400B MoE vence 70B denso em raciocínio aberto, mas custa 5-10× mais por token e exige infraestrutura dedicada. A escolha inteligente é “o tamanho certo para a tarefa, a latência, o custo e a privacidade”, não “o maior possível”. É engenharia de decisão, não propaganda.

Leitura relacionada

• Token não é palavra: entenda a unidade que define memória, velocidade e custo da IA — a outra metade do vocabulário técnico de IA, complemento direto deste post.
• A próxima dívida técnica será escrita por IA — onde modelos ruins plantam bomba, e por que tamanho não basta sem governança.
• A IA não está substituindo programadores. Está destruindo a definição antiga de programador. — quem usa a IA, não o tamanho da IA, é o que muda o trabalho.