Artificial Analysis、データセットを縮小し新たな公開セットを追加したAA-Omniscience v1.1の詳細を公開

Artificial Analysisは、知識とハルシネーションのベンチマークであるAA-Omniscience v1.1の詳細を公開しました。同社は10月27日、Intelligence Indexのv5の一環としてこのベンチマークを更新しました。Net Scoreは正解を評価し、誤答を減点する一方、回答を控えた場合は中立として扱います。

Artificial Analysisによると、変更点は次のとおりです。

• 非公開データセットを6,000問から3,000問に縮小。公開済みの問題や飽和した問題を除き、誤りや曖昧さを修正して新たな問題を追加しました。問題は引き続き6つのドメインと42のトピックを網羅します。
• 非公開セットと同程度の難易度に調整した300問の新たな公開セットをHugging Faceで公開。Net Scoreについて、公開セットと非公開セットのスコアの相関は0.99（PearsonとSpearman）だとしています。

同社による測定結果：

• Gemini 4 Carbon（high）がNet Score 54で首位、Claude Opus 5.5（48）、Claude Fable 5.1（46）が続きます。オープンウェイトモデルではMuse Spark Open（xhigh）が首位ですが、Gemini 4 Carbonには28ポイント及びません。
• v1との順位の相関は0.98（Spearman）で、順位はおおむね維持されましたが、スコアは平均で約1.9ポイント低下しました。MiniMax M3.1 Flashは22ポイント（16から-6）、MiMo V2.6 Proは13ポイント（8から-5）下がりました。
• Claude Fable 5.1は正答率68%で最も高く、Claude Opus 5.5の66%を上回りました。Gemini 4 Argon（high）はハルシネーション率が最も低く4%。ハルシネーション率の中央値は1.4ポイント低下しました。