Artificial Analysis công bố chi tiết AA-Omniscience v1.1, với bộ dữ liệu nhỏ hơn và bộ dữ liệu công khai mới

Artificial Analysis đã công bố chi tiết AA-Omniscience v1.1, benchmark về kiến thức và ảo giác của mình, được cập nhật vào ngày 27 tháng 10 trong khuôn khổ phiên bản v5 của Intelligence Index. Net Score của benchmark cộng điểm cho câu trả lời đúng, trừ điểm cho câu trả lời sai và xem việc từ chối trả lời là trung lập.

Theo Artificial Analysis, những thay đổi gồm:

• Bộ dữ liệu riêng giảm từ 6.000 xuống còn 3.000 câu hỏi: loại bỏ câu hỏi công khai và đã bão hòa, sửa lỗi và điểm mơ hồ, đồng thời bổ sung câu hỏi mới. Các câu hỏi vẫn thuộc 6 lĩnh vực và 42 chủ đề.
• Bộ dữ liệu công khai mới gồm 300 câu hỏi đã có trên Hugging Face, được hiệu chỉnh để có độ khó tương đương bộ riêng. Theo công ty, điểm số trên bộ công khai và bộ riêng có tương quan 0,99 (Pearson và Spearman) về Net Score.

Các phép đo của chính họ:

• Gemini 4 Carbon (high) dẫn đầu với Net Score 54, tiếp theo là Claude Opus 5.5 (48) và Claude Fable 5.1 (46). Muse Spark Open (xhigh) là mô hình open-weights đứng đầu, kém Gemini 4 Carbon 28 điểm.
• Thứ hạng nhìn chung vẫn giữ nguyên so với v1 (tương quan Spearman 0,98), nhưng điểm số trung bình thấp hơn khoảng 1,9 điểm. MiniMax M3.1 Flash giảm 22 điểm (từ 16 xuống -6), còn MiMo V2.6 Pro giảm 13 điểm (từ 8 xuống -5).
• Claude Fable 5.1 có độ chính xác cao nhất, đạt 68%, nhỉnh hơn Claude Opus 5.5 với 66%. Gemini 4 Argon (high) có tỷ lệ ảo giác thấp nhất, ở mức 4%; tỷ lệ ảo giác trung vị giảm 1,4 điểm.