Artificial Analysis pubblica Coding Agent Index v2.0; Claude Code con Opus 5.5 è in testa con 61,7

Artificial Analysis ha lanciato la versione 2.0 del suo Coding Agent Index, che valuta modelli insieme ai relativi harness agentici su 290 attività di ingegneria del software, uso del terminale e domande e risposte sui repository, con ponderazione uniforme. I punteggi sono calcolati da Artificial Analysis e non sono stati verificati in modo indipendente.

Cosa è cambiato rispetto alla v1.5:

• FrontierCode v1.1 di Cognition sostituisce DeepSWE v1.1. Comprende 100 attività su repository open source reali, con un set di test privato; la valutazione si basa sul fatto che un maintainer accetterebbe o meno la modifica. Un tentativo segnalato per aver avuto accesso al materiale con le soluzioni riceve un punteggio pari a zero.
• SWE-Atlas-QnA-AA aggiorna la valutazione delle 124 attività di domande e risposte sui repository di Scale AI: 127 dei 1.306 criteri della rubrica sono stati riformulati e ora il giudice è GPT-6 Luna (xhigh), con cinque voti per criterio.
• Terminal-Bench 4.0 non è cambiato.
• I punteggi sono più bassi per quasi tutte le configurazioni misurate in entrambe le versioni: la media scende da 54,8 a 47,4, soprattutto a causa di FrontierCode (media del 45,1% contro il 65,6% di DeepSWE).

Risultati:

• Indice: Claude Code con Claude Opus 5.5 (max) ottiene 61,7, davanti a Claude Code con Claude Sonnet 5.5 (59,3), Muse Code con Muse Wonder Full (58,9) e Claude Code con Claude Fable 5.1 (57,6).
• FrontierCode: Opus 5.5 ottiene il 56,0%, seguito da Codex con DeepSeek V4.1 Flash (52,6%), Codex con GPT-6.1 Sol (49,4%) e Codex con GPT-6 Astra (49,3%). 15 delle 24 configurazioni ottengono un punteggio compreso tra il 43% e il 49%.
• SWE-Atlas-QnA-AA: Muse Code con Muse Wonder Full è in testa con il 68,8%, seguito da Claude Code con Fable 5.1 (66,4%) e Opus 5.5 (65,9%).
• Costo per attività (costi API a consumo per token): Codex con DeepSeek V4.1 Flash ottiene 47,3 a $0,39; Codex con GPT-6.1 Sol, 54,1 a $1,50; Codex con GPT-6 Astra, 54,7 a $7,04; e Claude Code con Opus 5.5, 61,7 a $11,42.