Artificial Analysis 详解 AA-Omniscience v1.1：数据集缩小，并新增公开题集

Artificial Analysis 公布了 AA-Omniscience v1.1 的详情。这项知识与幻觉基准测试于 10 月 27 日更新，作为 Intelligence Index v5 的一部分。该基准的 Net Score 对正确答案给予奖励、对错误答案予以扣分，对弃答则不加不减。

Artificial Analysis 表示，更新内容如下：

• 私有数据集从 6,000 道题缩减至 3,000 道：移除公开题和已饱和题目，修正错误与歧义，并加入新题。题目仍涵盖 6 个领域和 42 个主题。
• Hugging Face 上新增了包含 300 道题的公开题集，其难度经过校准，与私有题集相当。Artificial Analysis 表示，公开题集和私有题集的 Net Score 相关性为 0.99（Pearson 和 Spearman）。

其自身的测评结果：

• Gemini 4 Carbon (high) 以 54 的 Net Score 领先，其后是 Claude Opus 5.5（48）和 Claude Fable 5.1（46）。Muse Spark Open (xhigh) 是排名最高的开放权重模型，比 Gemini 4 Carbon 低 28 分。
• 与 v1 相比，排名顺序基本不变（Spearman 相关系数为 0.98），但平均分低了约 1.9 分。MiniMax M3.1 Flash 下跌 22 分（从 16 降至 -6），MiMo V2.6 Pro 下跌 13 分（从 8 降至 -5）。
• Claude Fable 5.1 的准确率最高，为 68%，高于 Claude Opus 5.5 的 66%。Gemini 4 Argon (high) 的幻觉率最低，为 4%；幻觉率中位数下降了 1.4 个百分点。