Artificial Analysis sitúa el tiempo por tarea como métrica principal de sus pruebas de rendimiento de API

Artificial Analysis anunció una nueva versión de sus pruebas de rendimiento de API, que abarcan unos 1.000 endpoints sin servidor que evalúa varias veces al día en cuanto a velocidad, latencia y caché. El tiempo por tarea —cuánto tarda un modelo en completar una tarea— sustituye a la velocidad de generación en streaming como métrica principal. Artificial Analysis calcula el número de tokens de salida de un modelo por tarea del Intelligence Index y lo divide por su velocidad de salida de extremo a extremo.

Cambios que enumera:

• Velocidad de salida de extremo a extremo ahora se mide desde que se envía la solicitud hasta el token final, por lo que cuenta la espera hasta el primer token (prefill y razonamiento oculto). Los tokens de salida se obtienen de los recuentos que informa la API de cada proveedor, en lugar del tokenizador o200k_base. En una respuesta, añade que ahora las solicitudes fallidas cuentan como velocidad 0.
• Cargas de trabajo agénticas forman parte de cada medición: prompts cortos, de longitud documental y de contexto largo, además de sesiones de programación y trabajo de conocimiento con varios turnos. Las cifras principales promedian estos datos de los últimos 5 días.
• El esfuerzo predeterminado de la API se evalúa junto con el esfuerzo máximo, usando el valor predeterminado de cada laboratorio, ya que los nombres de los niveles de esfuerzo no son comparables entre laboratorios.

Hallazgos de Artificial Analysis:

• Los modelos de OpenAI ocupan la mayor parte de la frontera de Pareto entre Intelligence y tiempo por tarea. Con el esfuerzo máximo, GPT-6 Astra funciona a 51 tokens/s, pero completa una tarea en unos 17 minutos, frente a unos 26 minutos para Claude Opus 5.5 (111 tokens/s) y unos 29 para Gemini 4 Carbon (71 tokens/s), porque usa unos 50.000 tokens de salida por tarea, frente a aproximadamente 120.000 a 170.000.
• El esfuerzo predeterminado reduce el tiempo por tarea unas 3 a 5 veces y el costo por tarea unas 2 a 4 veces para GPT-6 Astra, GPT-6.1 Sol y Claude Opus 5.5, que usan el esfuerzo medio de forma predeterminada, a costa de unos 5 a 11 puntos del Intelligence Index. Claude Opus 5.5 pasa de unos 26 minutos y 10,04 $ por tarea con el esfuerzo máximo a unos 6,8 minutos y 2,45 $ con el esfuerzo medio.
• Los endpoints optimizados únicamente para la velocidad de decodificación son los que más pierden en velocidad de salida de extremo a extremo; según indica, los endpoints de GLM-5.3 con el streaming más rápido tardan entre 18 y 26 segundos en generar el primer token.

Estas son mediciones propias de Artificial Analysis.