Kimi K3.1 Pro abre os pesos: 1,56 TB, oito GPUs por nó e a conta de quando vale sair da API

Kimi K3.1 Pro abriu os pesos: 1,56 TB, oito GPUs por nó e o detalhe de atenção que mudou desde o K3

A Moonshot publicou no Hugging Face os pesos completos do Kimi K3.1 Pro, o mesmo modelo que chegou à API em 26 de outubro e que já comentamos aqui no dia do lançamento. O que muda agora não é preço nem benchmark: é o fato de existir um checkpoint baixável, com três números que definem a fatura antes da primeira linha de código. 1,56 TB em disco , mínimo de oito GPUs por nó e um teto de licença em US$ 20 milhões de receita para quem revende o modelo como serviço.

O que a ficha técnica revela (e o anúncio de outubro não dizia)

O repositório moonshotai/Kimi-K3.1-Pro traz 2,8 trilhões de parâmetros totais, 104 bilhões ativos por token, 896 especialistas, contexto de 1.048.576 tokens e entrada de imagem via encoder MoonViT-V2 de 401 milhões de parâmetros. O repositório foi criado em 2 de novembro; os primeiros posts apontando o download aberto aparecem em 4 de novembro, dentro do prazo prometido.

A mudança real em relação ao Kimi K3 está na atenção. São 93 camadas: 69 de Kimi Delta Attention (KDA, atenção linear) e 24 de Gated DSA , atenção esparsa com um indexador que seleciona até 2.048 posições por consulta. No K3, essas 24 camadas eram Gated MLA com atenção cheia. Guardar e reler o histórico inteiro em 1M de tokens é caro em KV cache e em prefill; trocar as camadas de atenção cheia por esparsas corta exatamente a parcela que cresce com o contexto. É a mesma família de truque que o DSA do DeepSeek popularizou e que explica por que modelos de contexto longo começaram a caber em orçamento de produção.

A conta de memória vem antes do primeiro token

Em 16 bits, 2,8 trilhões de parâmetros pediriam cerca de 5,6 TB. O checkpoint usa quantização MXFP4 nos pesos (ativações em MXFP8) e sai como 96 shards safetensors somando 1.561,3 GB — ou 1,45 TiB.

Daí o piso de oito aceleradores: 1,56 TB dividido por oito dá ~195 GB por placa. Na prática, só entram peças de 288 GB — MI355X, B300, GB300. E o que sobra (menos de 90 GB por GPU) é o que resta para KV cache, que a 1M de tokens é o verdadeiro limitador de concorrência, não os pesos. O fato de só 104 bilhões de parâmetros serem ativados por token ajuda no compute; não ajuda em memória, porque o modelo inteiro precisa estar residente (ou pagar latência em offload).

Os números de serving divulgados são de fornecedor. A AMD publicou em 4 de novembro a receita para um nó de 8× MI355X , com ATOM e vLLM partindo do checkpoint MXFP4 e do draft de decodificação especulativa DSpark. Com a otimização de prefill DCP combinada, o throughput agregado foi de 6.950 para 17.678 tokens/s — cerca de 2,5x — em testes do próprio time da AMD, sem detalhar batch, contexto nem latência por usuário. Do lado do software, o vLLM deu suporte day-0 em GPUs NVIDIA, AMD, TPUs do Google e nas PPUs Zhenwu da Alibaba T-Head; a Moonshot recomenda vLLM, SGLang e TokenSpeed.

A licença é livre até o dia em que você revende

A Kimi K3.1-Pro License permite usar, modificar, redistribuir e vender o modelo sem custo. A exceção é Model-as-a-Service: se a receita com o modelo oferecido como serviço passar de **US 20 milhões de receita mensal. Para uso interno em empresa, a leitura é confortável — mas é licença própria, não Apache nem MIT, e vale passar pelo jurídico antes de embarcar em produto.

Sair da API vale a pena a partir de que volume

A tabela da API segue em US 10 por milhão de saída . Uma estimativa de terceiros publicada em 4 de novembro coloca o ponto de equilíbrio de um nó de 8× B300 contra esse preço perto de 13 bilhões de tokens de entrada por mês . É conta de guardanapo: ignora horas ociosas, time de operação, energia, câmbio e SLO. Para a maioria dos times brasileiros, o caminho realista não é comprar o nó, e sim usar provedores que já servem esses pesos — Fireworks, Inferact e Verda anunciaram disponibilidade no dia do lançamento.

O que ainda não se sabe

Não há avaliação independente dos pesos baixados (até 6 de novembro). Os resultados divulgados são da Moonshot: Terminal-Bench 4.0 em 65,7; HLE-Full com ferramentas em 70,0; GPQA-Diamond em 94,2. O índice 55 do Artificial Analysis, quarto geral e primeiro entre pesos abertos, foi medido em 24 de outubro, sobre a API.

Circulou uma variante podada levando o modelo de 2,8T para 700–750 bilhões de parâmetros ao remover 672 dos 896 especialistas por camada. Sem números de qualidade publicados, não serve como comparação.

TTFT e tokens/s por usuário sob concorrência alta e contexto longo continuam sem dados públicos.

Na mesma janela: roteamento por cache virou produto

A Buoyant, dona do Linkerd, lançou em 4 de novembro o Kinference (Apache 2.0, versão v0.1.0-alpha.7): um control plane que fica na frente de frotas de vLLM em Kubernetes e decide para qual worker vai cada requisição, considerando conteúdo de KV cache e fila, além de limites de token por tenant e métricas separadas. Para saber o cache de cada worker, o vLLM precisa emitir eventos por ZMQ. A Buoyant reporta queda de 95% na mediana do time to first token contra o balanceamento padrão do Kubernetes — número auto-declarado, em tráfego com prefixos compartilhados. Sessões de agente e de código, que reenviam o mesmo contexto, tendem a se beneficiar; chat de tiro único, não. É alpha: teste antes de confiar.

Leitura prática

Quem está na API não precisa mudar nada hoje. Preço e disponibilidade seguem iguais, e o caminho barato para os pesos abertos é provedor terceirizado.

Self-host só em volume muito alto ou dado que não pode sair. O ingresso é um nó de 8× 288 GB, e o limite de concorrência é KV cache, não parâmetro.

Rode sua própria avaliação nos seus prompts: o download não tem laudo independente, e benchmark de lançamento não mede o seu domínio.

Se você opera vários modelos e tenants em vLLM , roteamento por cache é o ganho mais barato da semana — antes de comprar GPU.

Próximos passos

Acompanhar as primeiras avaliações independentes dos pesos e se SGLang e TokenSpeed publicam throughput em contexto longo com as mesmas condições de medição.

Fontes