Artificial Analysis、Intelligence Index v5を公開 Claude Opus 5.5が首位
Artificial Analysisは、モデル性能を複合的に評価するIntelligence Indexのバージョン5を公開した。新たに2つのベンチマークを追加し、3つをアップグレードした。同社によると、今回初めて、指数の大半が非公開データセットに基づくという。また、2022年11月以降にリリースされた言語モデルを単一の性能尺度で並べるProgress Index v1も公開した。
ベンチマークサイトが報告している内容(独自の測定結果):
- 新規:FrontierCode 2.0は、実際のオープンソースリポジトリにおける132のタスクを使うCognitionの非公開コーディングベンチマーク。メンテナーが変更をマージするかどうかを基準に採点する。Terminal-Bench-ScienceではGPT-6 Astra (max)が63%で首位、Claude Opus 5.5 (max)が59%で続く。
- アップグレード:HLE-DiamondがHumanity's Last Examに代わり(Claude Opus 5.5 (max)が68%で首位、GPT-6 Astra (max)は64%)、AA-Omniscience v1.1は知識とハルシネーションのテストを整理したバージョン、CritPt v2は非公開の難問40問のサブセットで採点する。
- ウェイト:Knowledge Work 25%、Coding 25%(FrontierCode 2.0が15%、Terminal-Bench 4.0が10%)、Science 25%。
- 9つすべての評価で首位に立つモデルはない。Claude Opus 5.5が3つで首位となり、残る6つではほかの5モデルが首位を分け合う。
- オープンウェイトモデルはさらに差を広げられた。首位のKimi K3.1 Pro(ウェイトは未公開)は46点で、トップから12点差。v4.3では差は3点だった。ウェイト公開済みモデルでは、DeepSeek V4.1 Flash 1017 (max)とGLM-5.3 (max)が32点で最高スコア。
- インデックスのタスクあたりのコスト:Claude Opus 5.5 (max)は$10.04、GPT-6 Astra (max)は$6.24、GPT-6.1 Sol (max)は$1.27。SolはOpus 5.5より約8分の1のコストで、4点差以内のスコアを記録。
- 努力レベルの影響はより大きい。Opus 5.5はlow effortで35点、maxで58点を記録し、タスクあたりのコストは10倍($0.98に対して$10.04)。
- モデルがタスクごとに出力するトークン数はv4.3より増加し、中央値は35kから59kに上昇した。
X上のリレー投稿によると、新しい指数でGPT-6.1 Terra (max)は51点。
ソース
ディスカッション
こんなニュースをプッシュで。
使っているツールに変化があると、AI Tracker がお知らせします。