Artificial Analysis coloca o tempo por tarefa em destaque como principal métrica de seus benchmarks de desempenho de API

A Artificial Analysis anunciou uma nova versão de seu benchmark de desempenho de API, que abrange cerca de 1.000 endpoints serverless testados várias vezes ao dia quanto a velocidade, latência e cache. O tempo por tarefa — quanto tempo um modelo leva para concluir uma tarefa — substitui a velocidade de streaming como métrica principal. A Artificial Analysis divide os tokens de saída de um modelo por tarefa do Intelligence Index pela velocidade de saída de ponta a ponta.

Mudanças listadas:

• Velocidade de saída de ponta a ponta agora é medida desde o envio da solicitação até o token final, contando também a espera pelo primeiro token (prefill e raciocínio oculto). A contagem de tokens de saída vem dos valores informados pelas APIs de cada provedor, em vez de usar o tokenizador o200k_base. Em uma resposta, a empresa acrescenta que solicitações com falha agora contam como velocidade 0.
• Cargas de trabalho agênticas fazem parte de todas as medições: prompts curtos, do tamanho de documentos e de contexto longo, além de sessões de várias etapas de programação e trabalho com conhecimento. Os números em destaque são médias desses resultados nos últimos 5 dias.
• O nível de esforço padrão da API é avaliado junto com o nível máximo, usando o padrão de cada laboratório, já que os nomes dos níveis de esforço não são comparáveis entre laboratórios.

Conclusões da Artificial Analysis:

• Modelos da OpenAI compõem a maior parte da fronteira de Pareto de Inteligência versus tempo por tarefa. No nível máximo de esforço, o GPT-6 Astra opera a 51 tokens/s, mas conclui uma tarefa em cerca de 17 minutos, contra cerca de 26 minutos para o Claude Opus 5.5 (111 tokens/s) e cerca de 29 para o Gemini 4 Carbon (71 tokens/s), porque usa cerca de 50 mil tokens de saída por tarefa, contra aproximadamente 120 mil a 170 mil.
• O nível de esforço padrão reduz o tempo por tarefa em cerca de 3 a 5 vezes e o custo por tarefa em cerca de 2 a 4 vezes para GPT-6 Astra, GPT-6.1 Sol e Claude Opus 5.5, todos configurados por padrão para esforço médio, ao custo de cerca de 5 a 11 pontos no Intelligence Index. O Claude Opus 5.5 passa de cerca de 26 minutos e US$ 10,04 por tarefa no nível máximo para cerca de 6,8 minutos e US$ 2,45 no nível médio.
• Os endpoints otimizados apenas para velocidade de decodificação sofrem a maior queda na velocidade de saída de ponta a ponta; segundo a empresa, os endpoints com streaming mais rápido do GLM-5.3 levam de 18 a 26 segundos para gerar o primeiro token.

Essas são medições próprias da Artificial Analysis.