Artificial Analysis publie la version 2.1 du Coding Agent Index : Claude Fable 5.2 et Opus 5.5 se partagent la première place avec 58

Artificial Analysis a publié la version 2.1 de son Coding Agent Index, qui évalue les modèles avec leurs environnements d’agents. Elle fait passer FrontierCode de la version 1.1 à la 2.0 et Terminal-Bench de la 4.0 à la 4.1. Les scores sont ceux d’Artificial Analysis.

Changements :

• FrontierCode-AA 2.0 remplace FrontierCode v1.1. Il s’agit de l’implémentation par Artificial Analysis de FrontierCode 2.0 de Cognition : 132 tâches de programmation en conditions réelles, évaluées selon la probabilité qu’un responsable de dépôt fusionne la modification de l’agent.
• Terminal-Bench 4.1 remplace la version 4.0 : les mêmes 66 tâches, avec des vérificateurs mis à jour qui, selon Artificial Analysis, améliorent la fiabilité et la résistance au contournement des critères de récompense.
• SWE-Atlas-QnA-AA reste dans l’Index.
• Les scores de la version 2.1 sont inférieurs d’environ 5 points en moyenne, en raison de FrontierCode-AA 2.0. Codex avec GPT-6.1 Terra (max) est la seule configuration à ne pas reculer, son score restant à moins d’un point de son résultat précédent.

Résultats :

• Claude Fable 5.2 et Claude Opus 5.5 se partagent la première place avec 58. Fable 5.2 obtient 58 avec les niveaux xhigh et high dans Claude Code ; Opus 5.5 (max) obtient 58 dans Claude Code et, associé à GPT-6 Luna High, dans l’environnement multi-modèle de Cognition, Devin Fusion CLI.
• Fable 5.2 (max) obtient 56, car davantage de ses tentatives atteignent la limite de temps des tâches. Viennent ensuite Claude Sonnet 5.5 (max, 56) dans Claude Code et Gemini 4 Carbon (high, 55) dans Antigravity CLI.
• Le coût par tâche varie d’environ 30 fois parmi les configurations obtenant au moins 48 : de 1,51 $ pour Codex avec GPT-6.1 Sol (max, 52) à 44,22 $ pour Claude Code avec Fable 5.2 (max, 56).