TPUv7 no AgentX: 1,2x a 2,7x mais tokens por dólar que B200 — e o que acontece quando a precisão muda

TPUv7 no AgentX: 1,2x a 2,7x mais tokens por dólar que B200 — e o que acontece quando a precisão muda

A SemiAnalysis publicou em 5 de novembro os primeiros resultados cruzados do TPUv7 Ironwood no AgentX, seu benchmark de inferência para cargas agênticas. Em GLM-5.2 com FP8, o acelerador do Google aparece com 1,2 a 2,7 vezes mais tokens por dólar que B200, B300 e MI355X, na faixa de 60 a 300 tokens por segundo por usuário. No ponto de 150 tokens/s por usuário, o número sobe para 4,4x contra o H200 — na mesma condição de precisão e de stack.

O resultado importa porque ataca exatamente o argumento que sustentava a renovação de frota NVIDIA no ano: custo por token em contexto longo e multi-turno, que é onde agentes vivem. Também importa pelo que ele não diz. Três ressalvas mudam a leitura de qualquer decisão de compra.

O que o AgentX mede — e o que ele não mede

O AgentX não é um benchmark de chatbot de uma pergunta. Ele monta sessões de várias rodadas, com contextos longos, reaproveitamento de prefixos (o prefix cache que evita reprocessar o mesmo começo de prompt a cada chamada) e atividade de subagentes disparando chamadas paralelas. A métrica central é tokens por dólar , com o custo de hardware por hora dividido pela vazão obtida, e não tokens por segundo no pico.

Essa escolha tem consequência prática. Um número de tokens/s isolado premia batch grande com latência ruim. Tokens por dólar numa faixa de interatividade declarada — aqui, 60 a 300 tokens/s por usuário — aproxima a comparação do que um produto real entrega: um agente que responde rápido o suficiente para não travar a experiência e ao mesmo tempo enche a GPU.

Os modelos testados foram GLM-5.2, Qwen3.5 397B, Kimi K3 e Muse Spark Open, rodando em SGLang, vLLM, llm-d e Ray. Ou seja: stacks abertos, não kernels proprietários. Isso facilita reprodução e reduz a chance de o resultado ser efeito de um caminho de software fechado.

Os números, com as condições de cada um

GLM-5.2, FP8: TPUv7 com 1,2x a 2,7x os tokens por dólar de B200, B300 e MI355X, entre 60 e 300 tokens/s por usuário. A 150 tokens/s por usuário, 4,4x contra H200.

Qwen3.5 397B: TPUv7 em FP8 aparece com 1,67x o desempenho por dólar do GB300 em FP4. Comparação entre precisões diferentes — é indicação, não teste controlado.

FP4 inverte o placar: quando a comparação é feita em FP4, a NVIDIA volta a liderar no GLM-5.2. FP4 usa 4 bits por valor, o que reduz pela metade o espaço de pesos e aumenta a vazão por chip; se a qualidade atende ao seu caso, o argumento de custo do TPUv7 encolhe ou se inverte.

A divergência é o ponto central da matéria, não uma nota de rodapé. A vantagem do TPUv7 no AgentX é documentada em FP8. A vantagem da NVIDIA aparece quando o carregador aceita FP4 — decisão de qualidade de modelo, não de hardware, e que precisa ser testada no seu domínio antes de entrar em planilha.

O contraponto da AMD: 1,72x só com kernel novo

Quatro dias antes, o blog de engenharia da ROCm mostrou o outro lado dessa conta. Ajustes de offload de cache e kernels de decode mais rápidos elevaram em 1,72x a vazão por GPU do GLM-5.2 no MI355X no mesmo AgentX, com 2,46x de pico de interatividade e 18.327 tokens/s por GPU no pico.

Leia os dois anúncios juntos e a conclusão fica desconfortável para quem trata benchmark como especificação: boa parte da diferença entre aceleradores é software e tem meia-vida de semanas . Um resultado de "1,2x a 2,7x" mede o stack de novembro de 2026, não uma propriedade permanente do silício. Para quem negocia capacidade, isso sugere contratos com cláusula de revisão de performance, não compromisso plurianual baseado em slide.

O que ainda não se sabe

O material é de newsletter paga, com configurações declaradas pelos autores e não auditadas por terceiros. Não há, nos resumos públicos, o detalhamento de ocupação de memória, taxa de acerto do prefix cache por modelo, nem o custo de hora-máquina usado no divisor. Também não está claro como o TPUv7 se comporta em cargas de decode puro, sem a repetição de prefixo típica de agente — justamente o cenário de um chat de alto volume.

Outros movimentos da janela

SageMaker passa a fatiar GPUs (AWS, 6/11). Endpoints com inference components agora aceitam MIG da NVIDIA: até 7 partições em P4d (A100 40 GB) e P5 (H100 80 GB), 4 em G7e e 2 em G7, cada uma com memória dedicada e isolamento em hardware. A AWS reporta que uma partição de H100 superou uma A100 40 GB inteira, com 18% a 34% de economia por milhão de tokens de saída nas cargas testadas. Uma instância p4d.24xlarge com oito A100 rende 24 partições no layout de exemplo. O ganho real depende de concorrência por partição: fatiar demais transforma economia em fila.

Ling-3.2-flash, da Ant (5/11). MoE multimodal nativo com 560 bilhões de parâmetros totais e 25 bilhões ativos por token, contexto de 1 milhão, entradas de texto, imagem e vídeo, API compatível com OpenAI e Anthropic a US 0,90 por milhão de tokens, gratuito nas duas primeiras semanas. Os benchmarks divulgados são da própria Ant contra o Claude Opus 5 (max): OmniDocBench 1.5 com 92,21 contra 90,56, ZEROBench (Sub) 43,71 contra 39,52 e Vision2Web 85,86 contra 80,20. Pesos abertos seguem sem data.

Kinference (Buoyant, 4/11). Projeto open source em alfa que adiciona uma camada de controle sobre vLLM e Kubernetes, com políticas de fila e cotas para transformar um cluster de GPUs em plataforma compartilhada de inferência. Vale acompanhar, não adotar.

Leitura prática

Meça na sua faixa de interatividade. Antes de comparar provedores, fixe o alvo de tokens/s por usuário e o comprimento de contexto. Tokens por dólar fora dessa faixa é ficção útil só para slide.

Teste FP4 no seu domínio. Se a perda de qualidade for aceitável, a conta muda de lado na comparação TPUv7 versus Blackwell. Se não for, o FP8 do Google sustenta o argumento.

Revise contratos de capacidade com cláusula de reavaliação: otimizações de kernel moveram 1,72x em uma semana no MI355X.

Para modelos pequenos e multi-tenant, MIG no SageMaker merece teste — mas com métrica de p99 e concorrência, não só custo por hora de partição.

Próximos passos

Acompanhar se a SemiAnalysis abrirá a configuração completa do AgentX e se NVIDIA e AMD publicarão números na mesma faixa de interatividade — é o que permitirá comparação honesta.

Fontes