Artificial Analysis macht „Time per Task“ zur Leitkennzahl seiner API-Leistungsbenchmarks

Artificial Analysis hat eine neue Version seines API-Leistungsbenchmarks angekündigt. Dieser umfasst rund 1.000 serverlose Endpunkte, die mehrmals täglich auf Geschwindigkeit, Latenz und Caching getestet werden. „Time per Task“ – also die Zeit, die ein Modell zum Erledigen einer Aufgabe benötigt – ersetzt die Streaming-Geschwindigkeit als Leitkennzahl. Artificial Analysis teilt die Ausgabetokens eines Modells pro Aufgabe des Intelligence Index durch dessen End-to-End Output Speed.

Die aufgeführten Änderungen:

• End-to-End Output Speed wird nun vom Absenden der Anfrage bis zum letzten Token gemessen. Damit zählt auch die Wartezeit bis zum ersten Token (Prefill und verborgenes Reasoning). Die Zahl der Ausgabetokens stammt nun aus den von den jeweiligen Anbietern über ihre APIs gemeldeten Angaben statt aus dem Tokenizer o200k_base. In einer Antwort ergänzt das Unternehmen, dass fehlgeschlagene Anfragen nun mit einer Geschwindigkeit von 0 gewertet werden.
• Agentische Workloads fließen in jede Messung ein: kurze Prompts, Prompts in Dokumentlänge und Prompts mit langem Kontext sowie mehrstufige Coding- und Wissensarbeits-Sitzungen. Die Leitwerte bilden den Durchschnitt dieser Messungen über die vergangenen 5 Tage.
• API-Standardaufwand wird neben dem höchsten Aufwand gemessen. Dabei wird der jeweilige Standard der Labore verwendet, da die Bezeichnungen für den Aufwand zwischen den Laboren nicht vergleichbar sind.

Die Ergebnisse von Artificial Analysis:

• Die Modelle von OpenAI stellen den Großteil der Pareto-Front bei Intelligence im Verhältnis zu Time per Task. Bei maximalem Aufwand läuft GPT-6 Astra mit 51 Tokens/s und erledigt eine Aufgabe in etwa 17 Minuten. Claude Opus 5.5 (111 Tokens/s) benötigt etwa 26 Minuten und Gemini 4 Carbon (71 Tokens/s) etwa 29 Minuten, da GPT-6 Astra pro Aufgabe etwa 50.000 Ausgabetokens nutzt, gegenüber rund 120.000 bis 170.000.
• Standardaufwand verkürzt Time per Task bei GPT-6 Astra, GPT-6.1 Sol und Claude Opus 5.5 um etwa das 3- bis 5-Fache und Cost per Task um etwa das 2- bis 4-Fache. Alle drei verwenden standardmäßig mittleren Aufwand; dafür sinkt der Intelligence-Index-Wert um etwa 5 bis 11 Punkte. Claude Opus 5.5 fällt bei mittlerem Aufwand von etwa 26 Minuten und 10,04 $ pro Aufgabe bei maximalem Aufwand auf etwa 6,8 Minuten und 2,45 $.
• Endpunkte, die allein auf Decodiergeschwindigkeit optimiert sind, verlieren bei der End-to-End Output Speed am stärksten. Laut Artificial Analysis benötigen die am schnellsten streamenden GLM-5.3-Endpunkte bis zum ersten Token 18 bis 26 Sekunden.

Dies sind die eigenen Messungen von Artificial Analysis.