Artificial Analysis merilis Coding Agent Index v2.1: Claude Fable 5.2 dan Opus 5.5 berbagi posisi teratas dengan skor 58

Artificial Analysis merilis Coding Agent Index v2.1, yang menilai model beserta harness agennya. Versi ini memperbarui FrontierCode dari 1.1 ke 2.0 dan Terminal-Bench dari 4.0 ke 4.1. Skor tersebut merupakan hasil penilaian Artificial Analysis sendiri.

Yang berubah:

• FrontierCode-AA 2.0 menggantikan FrontierCode v1.1. Ini adalah implementasi Artificial Analysis atas FrontierCode 2.0 dari Cognition: 132 tugas coding dunia nyata, yang dinilai berdasarkan apakah pengelola repositori akan menggabungkan perubahan dari agen tersebut.
• Terminal-Bench 4.1 menggantikan versi 4.0: 66 tugas yang sama, dengan verifier yang diperbarui dan menurut Artificial Analysis meningkatkan keandalan serta ketahanan terhadap manipulasi reward.
• SWE-Atlas-QnA-AA tetap ada di Index.
• Skor pada v2.1 lebih rendah, rata-rata sekitar 5 poin, dipengaruhi oleh FrontierCode-AA 2.0. Codex dengan GPT-6.1 Terra (max) adalah satu-satunya konfigurasi yang skornya tidak turun, dengan selisih maksimal 1 poin dari skor sebelumnya.

Hasil:

• Claude Fable 5.2 dan Claude Opus 5.5 berbagi posisi teratas dengan skor 58. Fable 5.2 meraih skor 58 pada xhigh dan high di Claude Code; Opus 5.5 (max) meraih skor 58 di Claude Code dan, saat dipasangkan dengan GPT-6 Luna High, di harness multi-model Devin Fusion CLI milik Cognition.
• Fable 5.2 (max) meraih skor 56 karena lebih banyak percobaannya mencapai batas waktu tugas. Berikutnya adalah Claude Sonnet 5.5 (max, 56) di Claude Code dan Gemini 4 Carbon (high, 55) di Antigravity CLI.
• Biaya per tugas berbeda sekitar 30x di antara konfigurasi dengan skor 48 atau lebih: mulai dari $1.51 untuk Codex dengan GPT-6.1 Sol (max, 52) hingga $44.22 untuk Claude Code dengan Fable 5.2 (max, 56).