Artificial Analysis ra mắt Coding Agent Index v2.1: Claude Fable 5.2 và Opus 5.5 đồng dẫn đầu với 58

Artificial Analysis đã phát hành phiên bản v2.1 của Coding Agent Index, chấm điểm các mô hình cùng bộ khung tác tử của chúng. Bản này nâng cấp FrontierCode từ 1.1 lên 2.0 và Terminal-Bench từ 4.0 lên 4.1. Đây là điểm số do chính Artificial Analysis đưa ra.

Điểm mới:

• FrontierCode-AA 2.0 thay thế FrontierCode v1.1. Đây là bản triển khai FrontierCode 2.0 của Cognition do Artificial Analysis thực hiện: gồm 132 tác vụ lập trình thực tế, được chấm dựa trên việc người duy trì kho mã có chấp nhận gộp thay đổi của tác tử hay không.
• Terminal-Bench 4.1 thay thế phiên bản 4.0: vẫn gồm 66 tác vụ, nhưng cập nhật bộ xác minh mà Artificial Analysis cho biết giúp tăng độ tin cậy và khả năng chống việc khai thác hàm thưởng.
• SWE-Atlas-QnA-AA vẫn nằm trong Index.
• Điểm số ở v2.1 thấp hơn trung bình khoảng 5 điểm, chủ yếu do FrontierCode-AA 2.0. Codex với GPT-6.1 Terra (max) là cấu hình duy nhất không giảm điểm, giữ trong phạm vi 1 điểm so với kết quả trước đó.

Kết quả:

• Claude Fable 5.2 và Claude Opus 5.5 đồng dẫn đầu với 58 điểm. Fable 5.2 đạt 58 ở cả mức xhigh và high trong Claude Code; Opus 5.5 (max) đạt 58 trong Claude Code và khi kết hợp với GPT-6 Luna High trong bộ khung đa mô hình Devin Fusion CLI của Cognition.
• Fable 5.2 (max) đạt 56 điểm do nhiều lần thử chạm giới hạn thời gian tác vụ hơn. Tiếp theo là Claude Sonnet 5.5 (max, 56) trong Claude Code và Gemini 4 Carbon (high, 55) trong Antigravity CLI.
• Chi phí mỗi tác vụ chênh lệch khoảng 30 lần giữa các cấu hình đạt từ 48 điểm trở lên: từ $1.51 với Codex kết hợp GPT-6.1 Sol (max, 52) đến $44.22 với Claude Code kết hợp Fable 5.2 (max, 56).