Artificial Analysis merilis Coding Agent Index v2.0; Claude Code dengan Opus 5.5 memimpin dengan skor 61,7

Artificial Analysis meluncurkan Coding Agent Index v2.0, yang menilai model bersama harness agen mereka pada 290 tugas di bidang rekayasa perangkat lunak, penggunaan terminal, dan tanya jawab repositori, dengan bobot yang sama. Skor tersebut berasal dari Artificial Analysis sendiri dan belum diverifikasi secara independen.

Perubahan dari v1.5:

• FrontierCode v1.1 dari Cognition menggantikan DeepSWE v1.1. Tolok ukur ini mencakup 100 tugas di repositori sumber terbuka sungguhan dengan set pengujian privat, dan penilaian didasarkan pada apakah seorang maintainer akan menerima perubahan tersebut; upaya yang ditandai karena mengakses materi solusi mendapat skor nol.
• SWE-Atlas-QnA-AA memperbarui penilaian untuk 124 tugas tanya jawab repositori milik Scale AI: 127 dari 1.306 kriteria rubrik ditulis ulang, dan juri kini adalah GPT-6 Luna (xhigh) dengan lima suara per kriteria.
• Terminal-Bench 4.0 tidak berubah.
• Skor hampir semua konfigurasi yang diukur pada kedua versi turun: rata-rata turun dari 54,8 menjadi 47,4, terutama karena FrontierCode (rata-rata 45,1% dibandingkan 65,6% pada DeepSWE).

Hasil:

• Indeks: Claude Code dengan Claude Opus 5.5 (max) meraih skor 61,7, unggul dari Claude Code dengan Claude Sonnet 5.5 (59,3), Muse Code dengan Muse Wonder Full (58,9), dan Claude Code dengan Claude Fable 5.1 (57,6).
• FrontierCode: Opus 5.5 meraih skor 56,0%, disusul Codex dengan DeepSeek V4.1 Flash (52,6%), Codex dengan GPT-6.1 Sol (49,4%), dan Codex dengan GPT-6 Astra (49,3%). Sebanyak 15 dari 24 konfigurasi meraih skor antara 43% dan 49%.
• SWE-Atlas-QnA-AA: Muse Code dengan Muse Wonder Full memimpin dengan skor 68,8%, disusul Claude Code dengan Fable 5.1 (66,4%) dan Opus 5.5 (65,9%).
• Biaya per tugas (biaya API bayar per token): Codex dengan DeepSeek V4.1 Flash meraih skor 47,3 dengan biaya $0,39; Codex dengan GPT-6.1 Sol meraih 54,1 dengan biaya $1,50; Codex dengan GPT-6 Astra meraih 54,7 dengan biaya $7,04; dan Claude Code dengan Opus 5.5 meraih 61,7 dengan biaya $11,42.