Artificial Analysis 公布 AA-Omniscience v1.1 細節：資料集縮小，並新增公開題組

Artificial Analysis 公布 AA-Omniscience v1.1 的詳細資訊。這項知識與幻覺基準測試於 10 月 27 日更新，納入 Intelligence Index v5。基準測試的 Net Score 會為正確答案加分、錯誤答案扣分，棄答則不加不扣。

Artificial Analysis 表示，以下是本次變更：

• 私有資料集由 6,000 題縮減至 3,000 題：移除公開題目與已飽和題目、修正錯誤和模糊之處，並加入新題目。題目仍涵蓋 6 個領域、42 個主題。
• Hugging Face 上新增一組 300 題的公開題目，難度經校準，與私有題組相當。該公司表示，公開與私有題組的 Net Score 相關係數為 0.99（Pearson 和 Spearman）。

Artificial Analysis 自行測得的結果：

• Gemini 4 Carbon (high) 以 54 分的 Net Score 領先，其次為 Claude Opus 5.5（48 分）和 Claude Fable 5.1（46 分）。Muse Spark Open (xhigh) 是表現最佳的開放權重模型，比 Gemini 4 Carbon 低 28 分。
• 與 v1 相比，排名大致維持不變（Spearman 相關係數為 0.98），但分數平均低約 1.9 分。MiniMax M3.1 Flash 下滑 22 分（從 16 分降至 -6 分），MiMo V2.6 Pro 下滑 13 分（從 8 分降至 -5 分）。
• Claude Fable 5.1 的準確率最高，為 68%，高於 Claude Opus 5.5 的 66%。Gemini 4 Argon (high) 的幻覺率最低，為 4%；幻覺率中位數下降 1.4 個百分點。