Artificial Analysis maakt Time per Task de belangrijkste maatstaf in zijn benchmarks voor API-prestaties

Artificial Analysis heeft een nieuwe versie aangekondigd van zijn benchmark voor API-prestaties. Die omvat ongeveer 1.000 serverless endpoints, die het meerdere keren per dag test op snelheid, latency en caching. Time per Task — hoelang een model nodig heeft om een taak af te ronden — vervangt streaming speed als belangrijkste maatstaf. Artificial Analysis deelt het aantal outputtokens van een model per taak uit de Intelligence Index door de End-to-End Output Speed.

De genoemde wijzigingen:

• End-to-End Output Speed wordt nu gemeten vanaf het verzenden van het verzoek tot en met het laatste token, waardoor ook de wachttijd tot het eerste token meetelt (prefill en verborgen redeneerwerk). Het aantal outputtokens is voortaan afkomstig van de door elke provider gerapporteerde API-aantallen, in plaats van de o200k_base-tokenizer. In een reactie voegt het bedrijf toe dat mislukte verzoeken nu als snelheid 0 meetellen.
• Agentische workloads maken deel uit van elke meting: korte prompts, prompts ter lengte van een document en prompts met een lange context, plus meerstapsessies voor coderen en kenniswerk. De belangrijkste cijfers zijn gemiddelden over de afgelopen 5 dagen.
• Standaardinstellingen voor API-inspanningsniveau worden naast het hoogste inspanningsniveau gebenchmarkt. Daarbij wordt de eigen standaardinstelling van elk lab gebruikt, omdat de namen voor inspanningsniveaus tussen labs niet vergelijkbaar zijn.

De bevindingen van Artificial Analysis:

• OpenAI-modellen vormen het grootste deel van de Pareto-grens voor Intelligence versus Time per Task. Op maximaal inspanningsniveau werkt GPT-6 Astra met 51 tokens/s, maar rondt het een taak af in ongeveer 17 minuten, tegenover ongeveer 26 minuten voor Claude Opus 5.5 (111 tokens/s) en ongeveer 29 minuten voor Gemini 4 Carbon (71 tokens/s). Dat komt doordat het ongeveer 50k outputtokens per taak gebruikt, tegenover circa 120k tot 170k.
• Het standaardinspanningniveau verkort Time per Task met ongeveer een factor 3 tot 5 en Cost per Task met ongeveer een factor 2 tot 4 voor GPT-6 Astra, GPT-6.1 Sol en Claude Opus 5.5, die alle standaard op een gemiddeld inspanningsniveau staan. Dit kost ongeveer 5 tot 11 punten op de Intelligence Index. Claude Opus 5.5 daalt van ongeveer 26 minuten en $10.04 per taak op maximaal inspanningsniveau naar ongeveer 6,8 minuten en $2.45 op gemiddeld inspanningsniveau.
• Endpoints die uitsluitend zijn geoptimaliseerd voor decodeersnelheid verliezen het meest aan End-to-End Output Speed; volgens het bedrijf doen de snelst streamende GLM-5.3-endpoints er 18 tot 26 seconden over om het eerste token te leveren.

Dit zijn de eigen metingen van Artificial Analysis.