Cache de KV sai da GPU: ElastiCache compartilha contexto entre servidores e Hy4 Flash cobra US$ 0,0015 pelo token cacheado
O gargalo da inferência em 2026 não é mais só FLOPs: é onde guardar o contexto. Na noite de 18 de novembro, a AWS colocou em disponibilidade geral o cache de KV distribuído no ElastiCache for Valkey — o mesmo estado que cada servidor guardava sozinho passa a ser compartilhado entre máquinas. No mesmo dia, a TRUSTA (marca enterprise da ADATA) mostrou no SC26 uma ferramenta que empurra esse cache da GPU para DRAM e SSD. E na tabela de preços da Tencent, o token que já vem em cache custa uma fração do token novo. Três camadas do mesmo problema, com números diferentes.
Já tratamos aqui de cache de KV dentro de uma GPU. O que mudou agora é o cache sair do servidor.
A conta que explica tudo
Cada token processado deixa para trás dois tensores por camada — chave (K) e valor (V). O tamanho cresce linear com o contexto. Num modelo de 8B com 32 camadas, 8 KV heads e head_dim 128 (GQA), o custo é de 128 KiB por token em FP16:
2 × 32 camadas × 8 heads × 128 × 2 bytes = 131.072 bytes
São 12,8 GB para uma única requisição de 100 mil tokens. Numa GPU com 288 GB de HBM sobram, descontados ~16 GB de pesos em FP16, pouco mais de 20 requisições desse tamanho em paralelo — e nada disso conta fragmentação. Em FP8, a conta cai pela metade. É por isso que cachear contexto entre servidores deixou de ser otimização fina e virou linha de orçamento.
AWS: o contexto passa a ser compartilhado (18/11)
O anúncio da AWS promete reduzir o custo de inferência self-hosted em até 40% e o time to first token (TTFT) em até 80%. São os tetos divulgados pela empresa, não médias: dependem do quanto o tráfego repete prefixo (system prompt, documentos, histórico de agente) e de a taxa de acerto do cache ser alta.
O que o serviço entrega na prática:
Requisitos travados : ElastiCache for Valkey 9.1 ou superior e nós cache.i8ge.48xlarge — instâncias de memória otimizada, não o serverless. Isso empurra o custo para a hora da instância, não para token.
Conector LMCache para vLLM, SGLang e TensorRT-LLM: o engine continua o mesmo, muda de onde ele lê o KV.
Disponibilidade em 13 regiões na América do Norte, Europa e Ásia-Pacífico.
KVTrace para estimar taxa de acerto, economia e preço de equilíbrio antes de implantar — a ferramenta mais interessante do pacote, porque responder "vale a pena?" sem telemetria é chute.
O ganho não é de graça: cada leitura de cache atravessa a rede. Se o seu hit rate for baixo, você paga a instância e continua pagando o prefill.
TRUSTA: GPU, DRAM e SSD no mesmo servidor
A TRUSTA levou ao SC26 (booth 7214, 17 a 19 de novembro) uma versão atualizada do AI Scaler Toolkit que faz offload do cache de KV do vLLM em três níveis: HBM, DRAM e SSDs enterprise PCIe Gen5. A ferramenta também suporta llama.cpp e Strata.
O ponto técnico é a hierarquia. SSD tem latência de microssegundos, ordens de grandeza acima de HBM — então só compensa quando a alternativa é recomputar o prefill inteiro. A própria empresa avisa que os resultados variam com o comprimento da entrada e o padrão da conversa: cache de contexto longo e repetitivo rende; chat curto e imprevisível, não. Não há benchmark independente publicado até aqui.
Supermicro, IBM e NVIDIA: até 56x de TTFT
Também em 16 de novembro, a Supermicro apresentou uma solução de armazenamento de KV cache construída com IBM e NVIDIA, combinando servidores all-flash Petascale com IBM Storage Scale. A alegação é reduzir o TTFT em até 56x em prompts longos, justamente os que estouram a memória local da GPU.
Registre como alegação de fornecedor: o anúncio não detalha tamanho de contexto, modelo, hardware de GPU nem taxa de acerto usada na medição. Vale mais pelo movimento — armazenamento all-flash entrando no caminho crítico da inferência. A linha Petascale agora embarca com AMD EPYC 9006, PCIe Gen 6 e até 3,93 PB em 2U, com até o dobro da banda de leitura sequencial da geração anterior.
Hy4 Flash: o cache já aparece no preço (16/11)
Do outro lado, a Tencent lançou o Hy4 Flash, multimodal, com 224 bilhões de parâmetros totais e 12 bilhões ativos por inferência — MoE, portanto, com custo de ativação baixo e um cache de KV que precisa acomodar 1 milhão de tokens de contexto. Preços de tabela: US 0,281 por milhão de saída. Na Vercel, com catálogo separado por tipo de token e 50% de desconto até 29 de novembro, o identificador tencent/hy4-flash aparece a US 0,14 (saída) e US$ 0,0015 por milhão de entrada em cache — 3,75% do preço da entrada nova.
É a tradução comercial do mesmo fenômeno: quem monta o prompt para repetir prefixo paga centavos; quem não monta, paga cheio.
Leitura prática
Meça o hit rate antes de comprar. Prefixo repetido é o insumo. Se seu tráfego é one-shot com documentos diferentes a cada chamada, cache distribuído vira conta de infraestrutura sem retorno.
Padronize a ordem do prompt. System prompt fixo primeiro, conteúdo variável depois. Cache é casamento de prefixo exato: um timestamp no topo do prompt zera o acerto.
Compare as duas rotas de custo. Alugar cache do provedor (US$ 0,0015/M no Hy4 Flash) é mais barato que operar nó de memória própria até certo volume. Faça a conta com o seu volume mensal, não com a média do mercado.
Trate 40%, 80% e 56x como teto. São números de fornecedor. Peça a condição de medição — contexto, modelo, quantização, concorrência — antes de colocar no business case.
Próximos passos
Acompanhar o primeiro benchmark independente de cache de KV distribuído com vLLM e SGLang: é ali que se descobre se o ganho sobrevive a tráfego real e a leitura de rede.
E você: hoje o seu contexto mora na GPU, em um cache gerenciado ou no bolso do provedor? Conta nos comentários qual stack você usa e qual número de TTFT você consideraria aceitável.
Fontes
Continue lendo
Desenvolvimento Gemini 4 Neon a US$ 3/US$ 15 e Qwen4-Max: a conta mudou de preço por token para custo por tarefa
Google lança Gemini 4 Neon a US$ 3/US$ 15 por milhão, 1M de contexto e nota 61 só no xhigh (59,6 no padrão). Alibaba corta 58% do custo por tarefa com Qwen4-Max, de 71B ativos. E o vLLM ganha 13% de throughput no Blackwell com peso quantizado em NVFP4.
Ler artigo →
Desenvolvimento Hugging Face passa o roteamento à OpenRouter: 80+ provedores por chamada e o custo escondido do cache de
Hugging Face passou todo o tráfego de LLM do Inference Providers pela OpenRouter, que escolhe entre 80+ provedores por chamada e tenta outro se um falhar. O preço é o do provedor, sem markup; o risco é perder cache de prompt e determinismo.
Ler artigo →
Desenvolvimento Node.js 26.10 põe debounce, throttle e parsePKCS12 no core: o que sai do seu package.json
Node.js 26.10.0 (e a linha 24.x) passa a oferecer util.debounce(), util.throttle(), markPromiseAsHandled() e crypto.parsePKCS12() no core. Veja como as novas APIs se comportam, onde diferem do lodash e o que checar antes de remover dependências.
Ler artigo →