Artificial Analysis ra mắt Intelligence Index v5, Claude Opus 5.5 dẫn đầu

Artificial Analysis công bố phiên bản 5 của Intelligence Index, chỉ số tổng hợp năng lực mô hình, với hai benchmark mới và ba bản nâng cấp. Theo họ, lần đầu tiên phần lớn chỉ số được xây dựng dựa trên các bộ dữ liệu riêng. Họ cũng ra mắt Progress Index v1, đặt các mô hình ngôn ngữ phát hành từ tháng 11/2022 lên cùng một thang đo năng lực.

Những gì trang benchmark báo cáo (theo kết quả đo của chính họ):

• Mới: FrontierCode 2.0, benchmark lập trình riêng của Cognition gồm 132 tác vụ trong các kho mã nguồn mở thực tế, được chấm dựa trên việc người duy trì dự án có chấp nhận gộp thay đổi hay không; và Terminal-Bench-Science, trong đó GPT-6 Astra (max) dẫn đầu với 63%, tiếp theo là Claude Opus 5.5 (max) với 59%.
• Nâng cấp: HLE-Diamond thay thế Humanity's Last Exam (Claude Opus 5.5 (max) dẫn đầu với 68%, GPT-6 Astra (max) đạt 64%), AA-Omniscience v1.1 là phiên bản được làm sạch của bài kiểm tra kiến thức và ảo giác, còn CritPt v2 được chấm trên một tập con khó gồm 40 câu hỏi, không công khai.
• Trọng số: Knowledge Work 25%, Coding 25% (FrontierCode 2.0 15%, Terminal-Bench 4.0 10%), Science 25%.
• Không mô hình nào dẫn đầu cả chín bài đánh giá. Claude Opus 5.5 dẫn đầu ba bài, còn năm mô hình khác dẫn đầu sáu bài còn lại.
• Các mô hình open-weights ngày càng tụt lại: mô hình dẫn đầu, Kimi K3.1 Pro (chưa phát hành weights), đạt 46 điểm, kém vị trí đầu bảng 12 điểm; ở v4.3, khoảng cách là 3 điểm. Trong số các mô hình đã phát hành weights, DeepSeek V4.1 Flash 1017 (max) và GLM-5.3 (max) đạt điểm cao nhất là 32.
• Chi phí mỗi tác vụ trong chỉ số: Claude Opus 5.5 (max) $10.04, GPT-6 Astra (max) $6.24, GPT-6.1 Sol (max) $1.27. Sol đạt điểm thấp hơn Opus 5.5 không quá 4 điểm với chi phí chỉ bằng khoảng một phần tám.
• Mức độ nỗ lực tạo khác biệt lớn hơn: Opus 5.5 đạt 35 điểm ở mức nỗ lực thấp và 58 điểm ở mức tối đa, với chi phí mỗi tác vụ cao gấp 10 lần ($0.98 so với $10.04).
• Các mô hình dùng nhiều token đầu ra hơn cho mỗi tác vụ so với v4.3: mức trung vị tăng từ 35k lên 59k.

Một tài khoản đăng lại trên X cho biết GPT-6.1 Terra (max) đạt 51 điểm trong chỉ số mới.