Artificial Analysis pubblica Coding Agent Index v2.1: Claude Fable 5.2 e Opus 5.5 condividono il primo posto con 58

Artificial Analysis ha pubblicato la versione 2.1 del suo Coding Agent Index, che valuta i modelli insieme ai rispettivi harness agentici. Aggiorna FrontierCode dalla versione 1.1 alla 2.0 e Terminal-Bench dalla 4.0 alla 4.1. I punteggi sono elaborati da Artificial Analysis.

Cosa è cambiato:

• FrontierCode-AA 2.0 sostituisce FrontierCode v1.1. È l’implementazione di Artificial Analysis di FrontierCode 2.0 di Cognition: 132 attività di programmazione reali, valutate in base alla probabilità che un maintainer del repository accetti la modifica proposta dall’agente.
• Terminal-Bench 4.1 sostituisce la 4.0: le stesse 66 attività, con verificatori aggiornati che, secondo Artificial Analysis, migliorano l’affidabilità e la resistenza al reward hacking.
• SWE-Atlas-QnA-AA resta nell’Index.
• I punteggi nella v2.1 sono inferiori di circa 5 punti in media, soprattutto per effetto di FrontierCode-AA 2.0. Codex con GPT-6.1 Terra (max) è l’unica configurazione a non perdere punti, restando entro 1 punto dal punteggio precedente.

Risultati:

• Claude Fable 5.2 e Claude Opus 5.5 condividono il primo posto con 58. Fable 5.2 ottiene 58 sia con xhigh sia con high in Claude Code; Opus 5.5 (max) ottiene 58 in Claude Code e, abbinato a GPT-6 Luna High, nell’harness multimodello di Cognition, Devin Fusion CLI.
• Fable 5.2 (max) ottiene 56, poiché più tentativi raggiungono i limiti di tempo delle attività. Seguono Claude Sonnet 5.5 (max, 56) in Claude Code e Gemini 4 Carbon (high, 55) in Antigravity CLI.
• Il costo per attività varia di circa 30 volte tra le configurazioni con punteggio pari o superiore a 48: da $1.51 per Codex con GPT-6.1 Sol (max, 52) a $44.22 per Claude Code con Fable 5.2 (max, 56).