Artificial Analysis ra mắt bảng xếp hạng HLE-Diamond, phiên bản tinh chỉnh của Humanity's Last Exam

Artificial Analysis đã ra mắt bảng xếp hạng HLE-Diamond, đánh giá riêng của họ về phiên bản Humanity's Last Exam gồm 1.000 câu hỏi đã được tinh chỉnh, trong khuôn khổ phiên bản v5 của Intelligence Index. CAIS và Scale AI công bố HLE-Diamond sau một năm làm sạch và tinh chỉnh các câu hỏi.

Đây là các số liệu do Artificial Analysis tự đo lường:

• HLE-Diamond phân loại mỗi câu hỏi là câu hỏi về suy luận hoặc kiến thức. Các mô hình đạt trên 50% đều có điểm câu hỏi suy luận cao hơn câu hỏi kiến thức 16–35 điểm. GPT-6.1 Sol (max) có khoảng cách lớn nhất trong nhóm dẫn đầu, đạt 76% ở câu hỏi suy luận và 41% ở câu hỏi kiến thức.
• Điểm số tăng khi đặt mức nỗ lực cao hơn, đồng thời chi phí cũng tăng. Claude Opus 5.5 tăng 26 điểm từ mức nỗ lực thấp (42%) lên tối đa (68%), với chi phí mỗi tác vụ cao hơn khoảng 35 lần; GPT-6 Astra tăng 19 điểm từ mức thấp (45%) lên tối đa (64%), với chi phí mỗi tác vụ cao hơn 11 lần.

Bảng xếp hạng có điểm số, lượng token sử dụng và chi phí mỗi tác vụ của từng mô hình.