Artificial Analysis fait du temps par tâche l’indicateur phare de ses benchmarks de performances d’API

Artificial Analysis a annoncé une nouvelle version de son benchmark de performances d’API, qui couvre environ 1 000 points de terminaison serverless testés plusieurs fois par jour pour mesurer la vitesse, la latence et la mise en cache. Le temps par tâche, c’est-à-dire le temps nécessaire à un modèle pour terminer une tâche, remplace la vitesse de génération en streaming comme indicateur phare. Artificial Analysis divise le nombre de tokens de sortie d’un modèle pour chaque tâche de l’Intelligence Index par sa vitesse de génération de bout en bout.

Voici les changements annoncés :

• La vitesse de génération de bout en bout est désormais mesurée entre l’envoi de la requête et le dernier token, ce qui inclut l’attente avant le premier token (préremplissage et raisonnement caché). Le nombre de tokens de sortie provient des décomptes communiqués par l’API de chaque fournisseur, plutôt que du tokenizer o200k_base. Dans une réponse, Artificial Analysis précise que les requêtes échouées sont désormais comptabilisées avec une vitesse de 0.
• Les charges de travail agentiques sont intégrées à chaque mesure : prompts courts, de longueur documentaire et à contexte long, ainsi que des sessions de programmation et de travail intellectuel à plusieurs tours. Les chiffres mis en avant correspondent à la moyenne des cinq derniers jours.
• L’effort par défaut de l’API est évalué en plus de l’effort maximal, en utilisant le réglage par défaut de chaque laboratoire, car les noms des niveaux d’effort ne sont pas comparables d’un laboratoire à l’autre.

Les conclusions d’Artificial Analysis :

• Les modèles OpenAI occupent la majeure partie de la frontière de Pareto entre l’Intelligence Index et le temps par tâche. Au niveau d’effort maximal, GPT-6 Astra génère 51 tokens/s, mais termine une tâche en environ 17 minutes, contre environ 26 minutes pour Claude Opus 5.5 (111 tokens/s) et environ 29 minutes pour Gemini 4 Carbon (71 tokens/s), car il utilise environ 50 000 tokens de sortie par tâche, contre environ 120 000 à 170 000.
• L’effort par défaut réduit le temps par tâche d’environ 3 à 5 fois et le coût par tâche d’environ 2 à 4 fois pour GPT-6 Astra, GPT-6.1 Sol et Claude Opus 5.5, qui utilisent tous l’effort moyen par défaut, au prix d’une baisse d’environ 5 à 11 points de l’Intelligence Index. Claude Opus 5.5 passe ainsi d’environ 26 minutes et 10,04 $ par tâche au niveau maximal à environ 6,8 minutes et 2,45 $ au niveau moyen.
• Les points de terminaison optimisés uniquement pour la vitesse de décodage perdent le plus en vitesse de génération de bout en bout ; selon Artificial Analysis, les points de terminaison GLM-5.3 au streaming le plus rapide mettent 18 à 26 secondes à produire le premier token.

Il s’agit des propres mesures d’Artificial Analysis.