MoEs de 3% a 5% de ativação: ERNIE 5.5, Hy4 e Inkling 2 Small e a conta de memória que decide o custo

MoEs de 3% a 5% de ativação: ERNIE 5.5, Hy4 e Inkling 2 Small e a conta de memória que decide o custo

Entre 4 e 6 de novembro, três laboratórios diferentes publicaram modelos de peso aberto ou semiaberto com a mesma assinatura: um número total de parâmetros que assusta e uma fração minúscula deles ativa por token. O Baidu abriu o ERNIE 5.5 Flash Base (280 bilhões totais, 14 bilhões ativos); a Tencent lançou o Hy4 (770 bilhões); e a Thinking Machines colocou no ar o Inkling 2 Small (594 bilhões totais, 17 bilhões ativos). No mesmo dia 5, a Skymizer e a MiTAC anunciaram que vão rodar o Kimi K3, de 2,8 trilhões de parâmetros, em um único servidor resfriado a ar .

A notícia não é "saiu mais um modelo". É que a razão de ativação — quantos parâmetros realmente trabalham por token — virou o parâmetro de projeto mais importante da inferência, e ela está caindo para a casa dos 3% a 5%. Isso muda o que você precisa de banda de memória, o que você paga por token e, no caso do ERNIE, quem pode usar legalmente o modelo.

O que mudou, em detalhe

Baidu ERNIE 5.5 Flash Base: 280B/14B e uma licença com endereço

Publicado no Hugging Face em 5 de novembro sem grande anúncio, o ERNIE 5.5 Flash Base é um MoE só de texto com 280 bilhões de parâmetros totais e 14 bilhões ativos por token — 5% de ativação. O pré-treinamento consumiu, segundo a Baidu, 335 trilhões de tokens , com contexto de até 1 milhão de tokens . Nos testes da própria Baidu, supera concorrentes de porte semelhante de DeepSeek, Tencent e Xiaomi; são benchmarks do fabricante, sem medição independente até agora.

Dois detalhes pesam mais que o placar. Primeiro: é um checkpoint de base , com o pré-treinamento encerrado e sem mid-training ou post-training. Não é um chatbot — é matéria-prima para quem vai treinar em cima. Segundo: a licença exclui explicitamente União Europeia, Reino Unido e Coreia do Sul . O Brasil não está na lista de exclusão, o que torna o modelo utilizável por aqui, mas o recorte geográfico é o tipo de cláusula que precisa passar pelo jurídico antes de entrar em produção, não depois.

Tencent Hy4: 770B e o primeiro Hunyuan que opera interface

Em 4 de novembro a Tencent lançou o Hy4, MoE de 770 bilhões de parâmetros e o primeiro da linha Hunyuan a juntar entendimento visual com uso de computador: lê imagem, gráfico e documento e opera linha de comando e interface gráfica. O treino incluiu software profissional como Blender, CAD e engines de jogos, mirando tarefas de longo horizonte.

O anúncio, porém, é o mais frágil dos três. A Tencent liberou apenas os pesos da versão preview e prometeu os finais depois; os números divulgados são os dela própria. E o dado que mais importa para quem vai servir o modelo — quantos parâmetros ficam ativos por token — não aparece no material disponível. Sem esse número não dá para estimar custo de decodificação nem dimensionar acelerador.

Thinking Machines Inkling 2 Small: 2,9% de ativação, pesos fechados

Também em 5 de novembro, a Thinking Machines lançou o Inkling 2 Small: MoE esparso com 594 bilhões totais e 17 bilhões ativos — 2,9% de ativação , a razão mais agressiva da leva. O foco declarado é autonomia de longa duração (agentes que rodam muitas etapas sem supervisão). Acesso via Tinker , próprio ambiente da empresa, com pesos fechados ; a companhia sinaliza que pode abrir os pesos mais adiante.

Vale a distinção: "esparso" aqui não significa "aberto". Um MoE de 2,9% rodando só atrás de uma API significa que você herda o preço, o rate limit e o roteamento de experts de outra pessoa — e não pode fazer cache local de pesos, quantizar por conta própria nem medir latência por camada.

Skymizer e MiTAC: 2,8 trilhões de parâmetros num servidor air-cooled

No dia 5, a Skymizer e a MiTAC anunciaram para a SC26 a demonstração do Kimi K3 (MoE de 2,8 trilhões de parâmetros da Moonshot AI) rodando em um único servidor resfriado a ar , com configuração de 2 TB de memória em placas . O alvo é deploy on-premises corporativo.

Aqui vale fazer a conta que o release não faz: 2 TB para 2,8 trilhões de parâmetros dá cerca de 0,71 byte por parâmetro — aproximadamente 5,7 bits, abaixo de 1 byte do FP8. O número só fecha com quantização abaixo de 8 bits, ou com parte do modelo deixada em disco/streaming, ou com essa memória reservando folga para KV cache. As empresas não detalharam a divisão, nem publicaram tokens/s, potência ou preço. Ressalva registrada.

A conta que explica por que 3% importa

Decodificação de LLM é limitada por banda de memória, não por FLOPs: cada token gerado exige ler os parâmetros ativos. Como estimativa de ordem de grandeza — não medição —, um nó com 3,35 TB/s de HBM e 14 bilhões de parâmetros ativos em FP8 move cerca de 14 GB por token, o que dá um teto teórico perto de 240 tokens/s por sequência , antes de overhead de kernel, roteamento de experts e batching. Com 17 bilhões ativos, o teto cai na mesma proporção.

A esparsidade alta reduz o custo por token, mas não reduz a memória total necessária: os 594 bilhões do Inkling 2 Small precisam caber inteiros em algum lugar. É por isso que um "modelo aberto" de 2026 pode exigir hardware de datacenter. No caso do Muse Spark Open, da Meta, o requisito relatado é de cerca de 1 TB de RAM para rodar em um Mac — número divulgado via Engadget, sem detalhamento de quantização.

Um contraponto do mesmo ciclo mostra o outro lado da palavra "aberto": o EKA-1 (26,3 bilhões), lançado pela IndiaAI Mission em 3 de novembro, aparece com licença Apache 2.0 na listagem pública, mas o acesso é por lista de espera e a listagem está marcada como "restrita".

Leitura prática

Antes de baixar pesos, calcule memória total, não parâmetros ativos. Um MoE de 280B em FP8 pede ~280 GB; em 4 bits, ~140 GB. Multi-GPU e troca de experts por PCIe mudam a latência real de forma que benchmark de blog não captura.

Trate licença como requisito de arquitetura. Exclusões como UE/Reino Unido/Coreia do Sul no ERNIE não bloqueiam o Brasil, mas bloqueiam clientes e CDNs dessas regiões.

Modelo de base não é modelo de produto. O ERNIE 5.5 Flash Base exige post-training próprio: orce GPUs de fine-tuning antes de comparar preço com API fechada.

Espere números de tokens/s, não de MMLU. Para o Hy4 e para a demo da Skymizer, ainda não há medição de latência sob carga.

O que acompanhar

A publicação dos pesos finais do Hy4 e, principalmente, a chegada de benchmarks independentes medindo tokens/s por GPU em contexto longo para esses MoEs de 2,9% a 5% de ativação.

Fontes