Kimi K3.1 Pro: 104 bi de parâmetros ativos, preço 33% menor e a promessa de 2.000 tokens/s da Cerebras

Kimi K3.1 Pro: 104 bi de parâmetros ativos, preço 33% menor e a promessa de 2.000 tokens/s da Cerebras

A Moonshot AI liberou o Kimi K3.1 Pro em 23 de outubro e cortou o preço da API em cerca de 33% sem mexer no tamanho do modelo. Três dias depois, em 26 de outubro, a Cerebras publicou um post de engenharia explicando como o Kimi K3 cabe em 59 wafers WSE-3T e afirmando que ele roda a "1.000 a 2.000+ tokens por segundo". Lidas juntas, as duas notícias explicam melhor a economia de inferência em 2026 do que qualquer posição em ranking de inteligência.

O que mudou, em detalhe

O modelo: 2,8 trilhões no total, 104 bilhões por token

O K3.1 Pro é um MoE (mixture of experts) com 2,8 trilhões de parâmetros totais e 104 bilhões ativos por token . A distinção importa: em um MoE, o roteador escolhe quais especialistas processam cada token, então o custo computacional de um passo de decode se parece com o de um modelo denso de ~100B, enquanto a capacidade de conhecimento vem do conjunto inteiro. É por isso que a Moonshot conseguiu manter a contagem de parâmetros e, ao mesmo tempo, baixar preço.

A janela de contexto é de 1 milhão de tokens . No Artificial Analysis Intelligence Index, terceiro levantamento independente usado pela imprensa técnica, o modelo marcou 55 pontos e ficou em 4º lugar , atrás do Claude Opus 5.5. A Moonshot reporta 65,7% no Terminal-Bench 4.0 , benchmark em que agentes de código resolvem tarefas realistas de linha de comando. Há também uma variante chamada Highspeed , posicionada para menor latência, sem detalhamento público de como isso é obtido.

O preço: US 10 por milhão de tokens

A tabela ficou em US 10 por milhão de saída — cerca de 33% abaixo do K3, e aproximadamente metade do que cobram os modelos fechados mais caros do mercado. Pesos abertos foram prometidos para antes de 4 de novembro .

Vale entender por que o corte é possível. Em serving, o preço por token é dominado pela largura ativa (104B) e pelo custo de memória — não pelos 2,8T totais, que só pesam quando você hospeda o modelo em pesos próprios. Um modelo com 2,8T de capacidade e 104B de ativação tem custo marginal de compute próximo de um denso de 100B, mas qualidade de catálogo muito maior. Esse descolamento entre "tamanho do modelo" e "custo do token" é a principal alavanca de preço de 2026.

O número de tabela, porém, não é o número da fatura. Com contexto de 1M, o prefill (processar a entrada antes de gerar) e o KV cache dominam a conta em cargas de documento longo, e tokens de raciocínio são cobrados como saída. Em agentes com muitas chamadas curtas, o custo real tende a ficar próximo do preço nominal; em RAG sobre bases grandes, não.

A parte que interessa: 59 wafers

O post da Cerebras, de 26 de outubro, é o dado técnico mais concreto da semana. O mapeamento: 35 wafers carregando duas camadas de atenção linear cada, e 24 wafers carregando uma camada densa cada, mais o KV cache correspondente. Os pesos são mantidos em 4 bits , o que reduz a memória de pesos em cerca de 4x na comparação com FP16 — condição sem a qual 3 trilhões de parâmetros não caberiam fisicamente no conjunto.

Duas escolhas de arquitetura explicam a distribuição. Primeiro, camadas de atenção linear mantêm um estado recorrente de tamanho fixo em vez de um KV cache que cresce linearmente com o contexto; é isso que torna a janela de 1M viável em memória. Segundo, o KV cache sobra concentrado nas 24 camadas densas , e a Cerebras o coloca junto dos pesos daquelas camadas — em wafer-scale, tudo fica em SRAM no chip, sem ida e volta à HBM a cada camada. Como o decode é limitado por banda de memória e não por FLOPs, eliminar esse tráfego é justamente o que produz throughput alto.

E aqui é preciso separar fato de estimativa: a Cerebras não publicou nenhuma medição do K3 rodando nos 59 wafers . A faixa de 1.000 a 2.000+ tokens/s não vem acompanhada de batch, tamanho de contexto, taxa de acerto de cache nem de número por usuário versus throughput agregado. Há ainda divergência de contagem: a Cerebras fala em "cerca de 3 trilhões de parâmetros", a Moonshot em 2,8 trilhões.

O que ainda não se sabe

A licença dos pesos abertos e se a data de 4 de novembro será cumprida.

Se a variante Highspeed usa quantização mais agressiva que 4 bits e qual o impacto em qualidade.

Qual é o throughput por usuário — e não agregado — em contexto longo, que é o cenário que mais interessa a quem constrói produto.

Se 4 bits em pesos se sustenta em tarefas de raciocínio longo, onde erro de quantização costuma aparecer primeiro.

Um detalhe que pesa para quem escreve em português

Um levantamento da Coalition for Language Equity in AI Research, publicado em setembro e repercutido em 26 de outubro, mede quantos tokens cada idioma consome para representar o mesmo conteúdo. A conclusão: línguas menos representadas no corpus de treino gastam mais tokens para dizer a mesma coisa — o que encarece a chamada e reduz o contexto efetivo. Para times no Brasil, isso significa que estimar orçamento com a média em inglês superestima a capacidade real: vale medir tokens por documento no seu próprio corpus antes de fechar conta.

Leitura prática

Teste antes de migrar. 55 pontos no índice e 65,7% no Terminal-Bench são bons sinais, mas não dizem nada sobre o seu domínio nem sobre latência em contexto longo.

Modele o custo por caminho, não por token. Separe carga de documento longo (prefill + KV cache caros) de agentes de chamadas curtas, onde o preço de tabela é mais fiel.

Espere os pesos. Se a licença for permissiva, o custo marginal cai para infraestrutura própria; enquanto isso, compare o preço da API com o que você já paga.

Não trate 2.000 tokens/s como número de produto. Sem condições de medição, é uma extrapolação de engenharia — útil para entender a tese, inútil para dimensionar SLA.

Próximos passos

Acompanhar a publicação dos pesos em 4 de novembro e, depois dela, as primeiras medições independentes de throughput em contexto longo com vLLM e SGLang.

Fontes