Fale conosco
Desenvolvimento

Cache de KV sai da GPU: ElastiCache compartilha contexto entre servidores e Hy4 Flash cobra US$ 0,0015 pelo token cacheado

31 min de leitura
Cache de KV sai da GPU: ElastiCache compartilha contexto entre servidores e Hy4 Flash cobra US$ 0,0015 pelo token cacheado

O gargalo da inferência em 2026 não é mais só FLOPs: é onde guardar o contexto. Na noite de 18 de novembro, a AWS colocou em disponibilidade geral o cache de KV distribuído no ElastiCache for Valkey — o mesmo estado que cada servidor guardava sozinho passa a ser compartilhado entre máquinas. No mesmo dia, a TRUSTA (marca enterprise da ADATA) mostrou no SC26 uma ferramenta que empurra esse cache da GPU para DRAM e SSD. E na tabela de preços da Tencent, o token que já vem em cache custa uma fração do token novo. Três camadas do mesmo problema, com números diferentes.

Já tratamos aqui de cache de KV dentro de uma GPU. O que mudou agora é o cache sair do servidor.

A conta que explica tudo

Cada token processado deixa para trás dois tensores por camada — chave (K) e valor (V). O tamanho cresce linear com o contexto. Num modelo de 8B com 32 camadas, 8 KV heads e head_dim 128 (GQA), o custo é de 128 KiB por token em FP16:

2 × 32 camadas × 8 heads × 128 × 2 bytes = 131.072 bytes

São 12,8 GB para uma única requisição de 100 mil tokens. Numa GPU com 288 GB de HBM sobram, descontados ~16 GB de pesos em FP16, pouco mais de 20 requisições desse tamanho em paralelo — e nada disso conta fragmentação. Em FP8, a conta cai pela metade. É por isso que cachear contexto entre servidores deixou de ser otimização fina e virou linha de orçamento.

AWS: o contexto passa a ser compartilhado (18/11)

O anúncio da AWS promete reduzir o custo de inferência self-hosted em até 40% e o time to first token (TTFT) em até 80%. São os tetos divulgados pela empresa, não médias: dependem do quanto o tráfego repete prefixo (system prompt, documentos, histórico de agente) e de a taxa de acerto do cache ser alta.

O que o serviço entrega na prática:

Requisitos travados : ElastiCache for Valkey 9.1 ou superior e nós cache.i8ge.48xlarge — instâncias de memória otimizada, não o serverless. Isso empurra o custo para a hora da instância, não para token.

Conector LMCache para vLLM, SGLang e TensorRT-LLM: o engine continua o mesmo, muda de onde ele lê o KV.

Disponibilidade em 13 regiões na América do Norte, Europa e Ásia-Pacífico.

KVTrace para estimar taxa de acerto, economia e preço de equilíbrio antes de implantar — a ferramenta mais interessante do pacote, porque responder "vale a pena?" sem telemetria é chute.

O ganho não é de graça: cada leitura de cache atravessa a rede. Se o seu hit rate for baixo, você paga a instância e continua pagando o prefill.

TRUSTA: GPU, DRAM e SSD no mesmo servidor

A TRUSTA levou ao SC26 (booth 7214, 17 a 19 de novembro) uma versão atualizada do AI Scaler Toolkit que faz offload do cache de KV do vLLM em três níveis: HBM, DRAM e SSDs enterprise PCIe Gen5. A ferramenta também suporta llama.cpp e Strata.

O ponto técnico é a hierarquia. SSD tem latência de microssegundos, ordens de grandeza acima de HBM — então só compensa quando a alternativa é recomputar o prefill inteiro. A própria empresa avisa que os resultados variam com o comprimento da entrada e o padrão da conversa: cache de contexto longo e repetitivo rende; chat curto e imprevisível, não. Não há benchmark independente publicado até aqui.

Supermicro, IBM e NVIDIA: até 56x de TTFT

Também em 16 de novembro, a Supermicro apresentou uma solução de armazenamento de KV cache construída com IBM e NVIDIA, combinando servidores all-flash Petascale com IBM Storage Scale. A alegação é reduzir o TTFT em até 56x em prompts longos, justamente os que estouram a memória local da GPU.

Registre como alegação de fornecedor: o anúncio não detalha tamanho de contexto, modelo, hardware de GPU nem taxa de acerto usada na medição. Vale mais pelo movimento — armazenamento all-flash entrando no caminho crítico da inferência. A linha Petascale agora embarca com AMD EPYC 9006, PCIe Gen 6 e até 3,93 PB em 2U, com até o dobro da banda de leitura sequencial da geração anterior.

Hy4 Flash: o cache já aparece no preço (16/11)

Do outro lado, a Tencent lançou o Hy4 Flash, multimodal, com 224 bilhões de parâmetros totais e 12 bilhões ativos por inferência — MoE, portanto, com custo de ativação baixo e um cache de KV que precisa acomodar 1 milhão de tokens de contexto. Preços de tabela: US 0,281 por milhão de saída. Na Vercel, com catálogo separado por tipo de token e 50% de desconto até 29 de novembro, o identificador tencent/hy4-flash aparece a US 0,14 (saída) e US$ 0,0015 por milhão de entrada em cache — 3,75% do preço da entrada nova.

É a tradução comercial do mesmo fenômeno: quem monta o prompt para repetir prefixo paga centavos; quem não monta, paga cheio.

Leitura prática

Meça o hit rate antes de comprar. Prefixo repetido é o insumo. Se seu tráfego é one-shot com documentos diferentes a cada chamada, cache distribuído vira conta de infraestrutura sem retorno.

Padronize a ordem do prompt. System prompt fixo primeiro, conteúdo variável depois. Cache é casamento de prefixo exato: um timestamp no topo do prompt zera o acerto.

Compare as duas rotas de custo. Alugar cache do provedor (US$ 0,0015/M no Hy4 Flash) é mais barato que operar nó de memória própria até certo volume. Faça a conta com o seu volume mensal, não com a média do mercado.

Trate 40%, 80% e 56x como teto. São números de fornecedor. Peça a condição de medição — contexto, modelo, quantização, concorrência — antes de colocar no business case.

Próximos passos

Acompanhar o primeiro benchmark independente de cache de KV distribuído com vLLM e SGLang: é ali que se descobre se o ganho sobrevive a tráfego real e a leitura de rede.

E você: hoje o seu contexto mora na GPU, em um cache gerenciado ou no bolso do provedor? Conta nos comentários qual stack você usa e qual número de TTFT você consideraria aceitável.

Fontes

#kv cache #inferência de llm #aws elasticache #vllm #sglang #tensorrt-llm #tencent hy4 flash #trusta #supermicro #ttft #contexto longo #infraestrutura de ia
Contato

Bora conversar?

Três campos. A resposta vem no WhatsApp.

Ou escreva para contato@maquinaweb.com.br.

Você vai para o WhatsApp com a mensagem pronta. Sem spam, sem lista.

Seus dados seguem a nossa política de privacidade.