Radar IA: KV cache de 72 MiB, um 125B na Arc B580 e MoE de 40B no notebook

Radar IA: KV cache de 72 MiB, um 125B na Arc B580 e MoE de 40B no notebook

Entre 24 e 27 de outubro saíram quatro anúncios que, lidos juntos, dizem a mesma coisa: a briga de inferência saiu do "quanto o modelo sabe" e foi para "quanto de memória ele ocupa por token". Um modelo aberto que congela o KV cache em 72 MiB a 256K de contexto, um engine que quase triplica a velocidade de um 125B numa placa de 12 GB, um MoE multimodal de 35B rodando em 3 GB de RAM no celular e um MoE de 40B a 125 tokens/s num notebook. Nenhum deles é um novo frontier model. Todos mexem na conta que decide o custo por requisição.

Vale um aviso antes de qualquer número: quase tudo abaixo é medição do fabricante ou de veículo de imprensa técnica, não benchmark independente com harness público. Onde a condição de teste não foi divulgada, eu digo que não foi.

EdgeRock: o KV cache que para de crescer com o contexto

O KV cache é o "caderno" onde o modelo anota as chaves e valores de atenção de tudo que já leu. Ele cresce linearmente com o contexto e com o batch — é por isso que servir 128K tokens para 50 usuários simultâneos estoura a memória antes de estourar o compute.

O EdgeRock, publicado e aberto em 26 de outubro pela RockMatrix (岩芯矩阵) com a HKUST e a CMU, ataca exatamente isso. Os números divulgados: o KV cache fica fixo em 72 MiB de 4K até 256K de contexto — queda de 99,1% em relação ao modelo de origem. Com isso, uma única GPU de 80 GB sustenta 512 fluxos longos simultâneos com 12.124 tokens/s de saída , ou 6,42× o modelo de origem.

Faça a divisão antes de se empolgar: 12.124 dividido por 512 dá cerca de 23,7 tokens/s por usuário . É throughput agregado, não latência por requisição. Para chat interativo, 23 tok/s por stream é aceitável; para geração de código em rajada, é apertado. O ganho real está em custo por token servido, não em time to first token.

A aposta técnica é trocar atenção com estado crescente por uma variante de estado limitado (bounded state), em que a memória de contexto é comprimida a um tamanho fixo independentemente do comprimento. O risco clássico dessa família é degradar em recall de longo alcance. A RockMatrix reporta 82,9% de pass@1 na média do AIME 2024–2026 , contra 18,8% do melhor modelo de estado limitado de 14B que eles colocaram na comparação. Duas ressalvas: é número próprio, e a métrica é matemática — não mede "encontre a cláusula 7.3 do contrato de 200 páginas", que é onde compressão de KV costuma doer primeiro. Licença, contagem de parâmetros e como plugar no vLLM/SGLang não estavam claros nas fontes consultadas.

XeStrata: 2,85× na Arc B580 sem trocar de placa

O teste do PC Watch, divulgado em 27 de outubro, é o tipo de dado que vale mais que release. Mesmo hardware: Intel Arc B580 de 12 GB (ASRock Challenger 12GB OC), Core Ultra 5 250KF Plus , 64 GB DDR5 , Ubuntu 26.04 LTS. Mesmo modelo: Qwen3.8-Flash-Next, 125B parâmetros , quantização IQ3_S , contexto de 64K , KV cache em 8 bits.

Com o engine Strata 0.2.1: 10,9 tokens/s . Com o XeStrata 0.1.43-2 : 31,1 tokens/s — 2,85× com o mesmo silício. O XeStrata é um fork do Strata com otimizações específicas para GPUs Intel; parte do trabalho passa a usar as unidades matriciais XMX . Detalhe prático: 12 GB de VRAM não cabem o modelo, então os pesos vivem parcialmente na RAM do sistema — na configuração testada, cerca de 50 GB . Com 64 GB de RAM o teste passa; com 32 GB, não.

O que isso mostra: o gargalo de inferência local não é só banda de memória. Se o único ganho fosse movimentar os mesmos bytes mais rápido, um fork de software não renderizaria 2,85×. Parte do custo estava em overhead do próprio engine. Sem nota técnica do autor explicando o que mudou no tráfego de dados, não dá para afirmar o mecanismo — mas o número é o mais acionável da semana para quem monta estação de inferência on-premise com placa de consumo.

MiniCPM-V 4.7: 35B em 3 GB de RAM no celular

A ModelBest (面壁智能) e a OpenBMB abriram em 26 de outubro o MiniCPM-V 4.7 , em duas versões: 35B-A3B e 1B . O 35B-A3B é um MoE multimodal com 65,6 GiB de pesos completos — quatro vezes a memória total de um aparelho de 16 GB. A solução não é caber: é agendar . O esquema que chamam de LES mantém na memória apenas o subconjunto de experts e camadas em uso e transmite o resto sob demanda do armazenamento.

O resultado declarado é rodar "sem perda" com cerca de 3 GB de memória, em telefone e tablet. A palavra-chave é "declarado". Duas coisas a checar num teste próprio: (1) que velocidade de decodificação sobra, já que o limite passa a ser a banda de leitura do flash, não a da RAM; (2) se a qualidade cai quando a mistura de experts exigida por um token é grande. MoE ajuda aqui porque só uma fração dos parâmetros é ativada por token — é o que torna o streaming viável. O fabricante não divulgou tokens/s nas fontes consultadas.

Flint: 40B com 2,5B ativos, 125 tok/s no MacBook Pro

Em 24 de outubro a Recursive, startup de Yuandong Tian (ex-Meta), abriu o Flint , primeiro modelo da casa: 40B totais, 2,5B ativos por token . A camada MoE tem 256 especialistas roteados , com 6 selecionados por token mais um especialista compartilhado sempre ligado. Contexto de até 512K .

Com o engine otimizado que acompanha o modelo: pelo menos 125 tokens/s num MacBook Pro e mais de 150 tokens/s num RTX Spark , da Nvidia. Faz sentido aritmético: 2,5B ativos em pesos de 4 bits são cerca de 1,25 GB lidos por token — território confortável para a banda de memória unificada de um laptop. O modelo foi treinado do zero em quatro meses , com o próprio sistema automatizado de pesquisa da Recursive. O caso de uso declarado é agente de programação local, onde latência de rede e custo por token somem.

Comparativo: o que mudou, em que condição

Os quatro números não são comparáveis entre si: mudam quantização, contexto, batch e até o que está sendo medido (throughput agregado versus por usuário). Comparar 12.124 tok/s do EdgeRock com 125 tok/s do Flint é erro de categoria.

Leitura prática

Se você serve inferência em escala , o KV cache é onde o custo marginal mora. Antes de trocar de GPU, meça memória de KV por requisição no seu mix real de contexto e batch — e teste variantes de atenção com estado limitado só depois de rodar avaliação de recall no seu domínio, não no AIME.

Se você monta infraestrutura on-premise , o dado do XeStrata importa mais que o preço da placa: um fork de engine entregou 2,85× no mesmo hardware. Vale rodar seu próprio modelo no Strata padrão antes de assinar qualquer compra de GPU.

Para produto mobile , 35B em 3 GB muda o cardápio, mas o gargalo migra para o armazenamento. Meça a decodificação no aparelho alvo, com o modelo quente em disco, antes de prometer offline.

Para agentes locais , MoE com 2,5B ativos e 512K de contexto é a combinação que faz sentido no laptop do dev. Teste com o seu repositório, não com o benchmark do lançamento.

Próximos passos

Acompanhar os pesos e a documentação do EdgeRock (licença, suporte nos engines de serving) e a evolução do XeStrata no repositório do Strata: são os dois itens que podem mudar sua conta de inferência sem trocar hardware.

Fontes