Artificial Analysis ra mắt Coding Agent Index v2.0; Claude Code với Opus 5.5 dẫn đầu với 61.7

Artificial Analysis đã ra mắt phiên bản v2.0 của Coding Agent Index, chấm điểm các mô hình cùng với bộ khung agent của chúng trên 290 tác vụ thuộc các lĩnh vực kỹ thuật phần mềm, sử dụng terminal và hỏi đáp về kho mã nguồn, với trọng số ngang nhau. Đây là điểm số do Artificial Analysis tự chấm, chưa được xác minh độc lập.

Thay đổi so với v1.5:

• FrontierCode v1.1 của Cognition thay thế DeepSWE v1.1. Bộ này có 100 tác vụ trên các kho mã nguồn mở thực tế, với bộ kiểm thử riêng tư; kết quả được chấm dựa trên việc người bảo trì có chấp nhận gộp thay đổi hay không. Lần thử nào bị gắn cờ vì truy cập tài liệu lời giải sẽ nhận điểm 0.
• SWE-Atlas-QnA-AA điều chỉnh cách chấm 124 tác vụ hỏi đáp về kho mã nguồn của Scale AI: 127 trong số 1,306 tiêu chí chấm điểm được diễn đạt lại, và giờ đây giám khảo là GPT-6 Luna (xhigh), với năm lượt bỏ phiếu cho mỗi tiêu chí.
• Terminal-Bench 4.0 không thay đổi.
• Điểm số của gần như mọi cấu hình được đo ở cả hai phiên bản đều thấp hơn: mức trung bình giảm từ 54.8 xuống 47.4, chủ yếu do FrontierCode (điểm trung bình 45.1% so với 65.6% của DeepSWE).

Kết quả:

• Chỉ số: Claude Code với Claude Opus 5.5 (max) đạt 61.7, vượt Claude Code với Claude Sonnet 5.5 (59.3), Muse Code với Muse Wonder Full (58.9) và Claude Code với Claude Fable 5.1 (57.6).
• FrontierCode: Opus 5.5 đạt 56.0%, tiếp theo là Codex với DeepSeek V4.1 Flash (52.6%), Codex với GPT-6.1 Sol (49.4%) và Codex với GPT-6 Astra (49.3%). 15 trong số 24 cấu hình đạt từ 43% đến 49%.
• SWE-Atlas-QnA-AA: Muse Code với Muse Wonder Full dẫn đầu với 68.8%, tiếp theo là Claude Code với Fable 5.1 (66.4%) và Opus 5.5 (65.9%).
• Chi phí mỗi tác vụ (chi phí API trả theo token): Codex với DeepSeek V4.1 Flash đạt 47.3 với giá $0.39, Codex với GPT-6.1 Sol đạt 54.1 với giá $1.50, Codex với GPT-6 Astra đạt 54.7 với giá $7.04, và Claude Code với Opus 5.5 đạt 61.7 với giá $11.42.