Serving virou a pauta: drafter de 5 camadas da Tencent, Paged Experts no SGLang e agentes que recompilam a inferência

Nos últimos três dias não saiu um modelo de fronteira que mudasse a régua de qualidade. Saiu algo mais chato e mais útil: quatro mexidas na camada que transforma peso em token. Um drafter de 5 camadas que acelera um 27B de terceiro, uma política de paginação de experts que deixa o MoE ser maior que a VRAM, quantização movida para dentro do carregamento e agentes que reescrevem o código de serving sozinhos. Nesta semana, o custo por token se decidiu no stack, não no benchmark do modelo.

DSpine: 2,71x a 3,84x sem trocar o modelo alvo

A Tencent publicou em 7 de novembro o DSpine-b16, um drafter de decodificação especulativa para o Qwen3.8-27B — modelo da Alibaba, não dela. O checkpoint tem cinco camadas, block size 16, janela deslizante de 8.192 tokens e licença Apache 2.0 no Hugging Face. A empresa reporta 2,71x a 3,84x o throughput autoregressivo de base em testes próprios de carga agêntica rodando SGLang, com concorrência 8.

O mecanismo é o que interessa. Drafters clássicos geram tokens candidatos em sequência, e o modelo alvo verifica o bloco inteiro de uma vez. O DSpine faz o drafting em paralelo: cada camada prevê features de uma posição e injeta essa informação na posição adjacente, de modo que a dependência causal entre posições viaja pela profundidade da rede, não pelo tempo. Como reaproveita tokenizer, embeddings e LM head do próprio Qwen3.8-27B, o checkpoint é minúsculo perto do alvo. Benchmark é da Tencent, medido por ela, sem reprodução independente até agora.

Por que importa: 3,84x em throughput de saída é o mesmo que dividir por quase quatro o custo de GPU por token gerado — em carga agêntica, com muitas chamadas de ferramenta e respostas longas, que é exatamente onde decodificação domina o tempo. Em chat curto e single-stream o ganho tende a sumir, e a taxa de aceitação dos tokens propostos é o número que decide.

Paged Experts: MoE maior que a VRAM e o penhasco na quarta requisição

O SGLang 0.5.23, de 2 de novembro, trouxe recurso opt-in chamado Paged Experts. A política: manter K dos E experts de cada camada MoE residentes na GPU, guardar todos os E em RAM de host com memória pinada e copiar por PCIe apenas os experts que o roteador escolheu naquele passo e que não estão residentes. A multiplicação dos experts continua na GPU.

A conta é de banda, não de FLOPS. Cada passo de decode precisa mover os pesos dos experts não residentes; em PCIe Gen5 x16, ida e volta sem NVLink, o teto prático fica na casa das dezenas de GB/s. Enquanto o número de requisições simultâneas é baixo, esse tráfego cabe no tempo que o resto do passo leva para executar. A partir de certo ponto — o relato que circulou fala de um penhasco por volta da quarta requisição concorrente — a demanda de cópia por segundo passa a taxa do barramento e a latência cresce em degrau, não em rampa. Ou seja: Paged Experts não é "rode 700B numa placa". É "rode um MoE que não cabe, com pouca concorrência, e aceite latência de PCIe".

O caso de uso honesto é desenvolvimento, avaliação e batch offline em GPU pequena, não endpoint de produção com SLO de TTFT.

AMD move a quantização para dentro do carregamento

Em 5 de novembro a AMD adicionou quantização online ao Quark, a biblioteca de quantização do ROCm. Em vez de exportar um checkpoint quantizado num job separado, os pesos são convertidos camada por camada durante o carregamento, dentro do próprio motor — com integrações em vLLM, ATOM e SGLang. Some o checkpoint intermediário em disco, e passa a ser viável testar esquemas diferentes de quantização sem refazer export, requantizar um modelo já em uso e gerar rollouts de RL com precisão variável.

O detalhe que cobra atenção: converter na subida troca tempo de disco por tempo de warm-up. Vale a pena quando o custo dominante é o ciclo de experimentação; atrapalha em autoscaling agressivo, onde cada pod novo paga a conversão de novo.

Agentes que recompilam o serving em menos de 24h

O Together Compiler (TKCC), anunciado em 4 de novembro, parte de uma premissa simples: motor afinado uma vez fica velho. Em vez de fixar kernels e configs, agentes de código propõem variantes de otimização para o par modelo/GPU/padrão de tráfego, medem contra o baseline e promovem a versão vencedora — sem reiniciar o motor, algo que antes custava cerca de 8 minutos por variante. A Together reporta até 2,6x mais tokens por segundo, com retuning em até 24h, e diz que o sistema já roda em vários endpoints serverless, testado em Kimi K3, GLM-5.3 e DeepSeek v4.1-Flash. Números do fornecedor, em hardware dele.

O que mudou, em uma tabela

Leitura prática

Se você serve Qwen3.8-27B em SGLang e sua carga é agêntica, o drafter da Tencent é o teste de melhor relação esforço/ganho da semana: um download, nenhuma mudança de modelo. Meça taxa de aceitação e p95 de latência antes de comemorar.

Paged Experts entra como ferramenta de laboratório. Trate a concorrência como orçamento fixo, não como variável livre.

Quantização dinâmica no carregamento muda o roteiro de tuning: compare esquemas no mesmo dia, mas conte o warm-up no cálculo de custo se você escala pods com frequência.

Autotuning contínuo é argumento para renegociar contrato de inferência: pergunte ao provedor com que frequência ele reotimiza e com qual baseline.

Próximos passos

Acompanhar se sai reprodução independente do DSpine em vLLM — é o que separa 3,84x de marketing de 3,84x de engenharia.

Fontes

E você: serve modelo aberto com vLLM, SGLang ou TensorRT-LLM? Conta nos comentários qual stack está de pé hoje e qual foi o último ganho real de throughput que você mediu.