Artificial Analysis : près d’un endpoint serverless sur quatre obtient un score inférieur à la référence dans son Endpoint Accuracy Index v1.1

Artificial Analysis a publié la version 1.1 de son Endpoint Accuracy Index, qui évalue chaque endpoint serverless d’un modèle à poids ouverts en pourcentage du score de son propre déploiement de référence auto-hébergé avec les poids officiels. Le score accorde le même poids à l’utilisation d’outils (BFCL-500), au raisonnement scientifique (HLE-250) et au rappel de contexte long (AA-LCR-25). Parmi les plus de 100 endpoints évalués, près d’un sur quatre obtient, selon l’entreprise, un score inférieur à la référence.

Voici les changements apportés à la version 1.1, selon Artificial Analysis :

• AA-LCR-25 passe à AA-LCR v1.1, qui corrige des erreurs dans les réponses de référence et confie désormais la notation à GPT-5.6 Luna (medium). Chaque question est maintenant exécutée 25 fois au lieu de 10, ce qui réduit l’intervalle de confiance moyen à 95 % de ±4,7 à ±2,6 points.
• La couverture passe à six modèles : GLM-5.3 Flash (max) et Muse Spark Open de Meta (xhigh) rejoignent DeepSeek V4.1 Flash 1017 (max), GLM-5.3 (max), Kimi K3 (max) et gpt-oss-120b (high).

Résultats :

• GLM-5.3 Flash : 16 des 22 endpoints sont statistiquement conformes à la référence et un la dépasse (104,2). Deux endpoints, plafonnés à environ 32K tokens de sortie, tronquent près de la moitié des réponses HLE-250 et obtiennent des scores de 22 % et 29 %, contre 55 % pour la référence. Deux autres génèrent environ 30 % de tokens de raisonnement en moins et obtiennent un score de 48 %.
• Muse Spark Open : trois des cinq endpoints sont au niveau de la référence (99,5 à 99,9), dont un qui sert des poids FP4. Les deux autres perdent en précision uniquement pour l’utilisation d’outils : ils renvoient sous forme de nombres des arguments que l’outil définit comme du texte, comme des identifiants de réservation (50 % et 51 % sur BFCL-500, contre 59 %).
• GLM-5.3 : 26 endpoints, avec des scores de 67,2 à 99,3 ; 16 sont au niveau de la référence et 10 en dessous. Artificial Analysis indique que les écarts les plus importants sont dus aux limites de tokens de sortie et aux boucles de raisonnement, et que la quantification n’est pas en cause : cinq des six endpoints FP4 sont au niveau de la référence FP8.
• DeepSeek V4.1 Flash 1017 : les 22 endpoints sont au niveau de la référence (97,5 à 101,4), dans une fourchette de 3,9 points qui en fait le modèle le plus cohérent de l’indice.