Artificial Analysis、洗練版「Humanity's Last Exam」のHLE-Diamondリーダーボードを公開

Artificial Analysisは、Intelligence Indexのv5の一環として、洗練版「Humanity's Last Exam」の1,000問を独自に評価するHLE-Diamondリーダーボードを公開しました。CAISとScale AIは、1年をかけて問題を整理・改良した後、HLE-Diamondを公開しました。

以下はArtificial Analysisによる独自の測定結果です。

• HLE-Diamondでは、すべての問題を推論または知識に分類しています。50%を超えるモデルは、いずれも知識問題より推論問題で16～35ポイント高いスコアを記録しています。上位モデルの中ではGPT-6.1 Sol (max)の差が最も大きく、推論で76%、知識で41%です。
• 努力度を上げるとスコアが上がり、コストも増加します。Claude Opus 5.5は、低努力（42%）から最大（68%）にすると26ポイント上がり、タスクあたりのコストは約35倍になります。GPT-6 Astraは、低（45%）から最大（64%）にすると19ポイント上がり、タスクあたりのコストは11倍になります。

各モデルのスコア、トークン使用量、タスクあたりのコストはリーダーボードで確認できます。