Artificial Analysis lança o Coding Agent Index v2.0; Claude Code com Opus 5.5 lidera com 61,7

A Artificial Analysis lançou a v2.0 do seu Coding Agent Index, que avalia modelos junto com seus harnesses de agentes em 290 tarefas de engenharia de software, uso de terminal e perguntas e respostas sobre repositórios, com pesos iguais. As pontuações são da própria Artificial Analysis e não foram verificadas de forma independente.

O que mudou desde a v1.5:

• FrontierCode v1.1, da Cognition, substitui o DeepSWE v1.1. São 100 tarefas em repositórios reais de código aberto, com um conjunto de testes privado; a avaliação considera se um mantenedor aceitaria a alteração. Uma tentativa sinalizada por acessar material com soluções recebe nota zero.
• SWE-Atlas-QnA-AA revisa a avaliação das 124 tarefas de perguntas e respostas sobre repositórios da Scale AI: 127 de 1.306 critérios da rubrica foram reformulados, e agora o juiz é o GPT-6 Luna (xhigh), com cinco votos por critério.
• Terminal-Bench 4.0 não mudou.
• As pontuações caíram para quase todas as configurações avaliadas nas duas versões: a média passou de 54,8 para 47,4, principalmente por causa do FrontierCode (média de 45,1% ante 65,6% no DeepSWE).

Resultados:

• Índice: Claude Code com Claude Opus 5.5 (max) marca 61,7, à frente de Claude Code com Claude Sonnet 5.5 (59,3), Muse Code com Muse Wonder Full (58,9) e Claude Code com Claude Fable 5.1 (57,6).
• FrontierCode: Opus 5.5 marca 56,0%, seguido por Codex com DeepSeek V4.1 Flash (52,6%), Codex com GPT-6.1 Sol (49,4%) e Codex com GPT-6 Astra (49,3%). 15 das 24 configurações ficam entre 43% e 49%.
• SWE-Atlas-QnA-AA: Muse Code com Muse Wonder Full lidera com 68,8%, seguido por Claude Code com Fable 5.1 (66,4%) e Opus 5.5 (65,9%).
• Custo por tarefa (custos de API cobrados por token): Codex com DeepSeek V4.1 Flash marca 47,3 a US$ 0,39; Codex com GPT-6.1 Sol, 54,1 a US$ 1,50; Codex com GPT-6 Astra, 54,7 a US$ 7,04; e Claude Code com Opus 5.5, 61,7 a US$ 11,42.