SemiAnalysis、最も高いモデルでもスコア12%のエージェント型ベンチマーク「GDPx」を公開

SemiAnalysisは、同社が最も価値の高い領域と考える分野におけるエージェント能力を測るベンチマーク「GDPx」を公開しました。対象にはチップ設計、サイバーセキュリティ、生物学などが含まれます。同社によると、最も高いモデルでもスコアはわずか12%です。結果を伝えた投稿では、Claude Opus 5.5が12.0%で首位、近日公開予定のGemini 4 Carbonが10.9%と報告されています。これは投稿者による解釈であり、SemiAnalysis自身の発表内容ではありません。

• 領域の選定: SemiAnalysisは、AI収益の最初の1兆ドルは、最先端の知能を高い投資収益率で活用できる分野に集中すると主張しています。そのため、GDP比や職業分類に基づくベンチマークは採用していません。政府、不動産、保険などではなく、チップ設計、サイバーセキュリティ、生物学を対象にしています。
• 安全性分類器: SemiAnalysisによると、Opus 5.5とGPT-6 Astraは、サイバーセキュリティ、生物学、アラインメントのタスクで安全性分類器が作動することがあり、そのため全体スコアが低くなっています。この3領域を除くと順位は変わり、モデルに対する同社の主観的な印象に合致するとのことです。また、現時点で利用できるサイバーセキュリティモデルとして、Muse Wonder Fullが明確な差をつけて最良だと評価しています。
• 構築方法: 各領域の作成には少なくとも1社の専門データパートナーが参加し、最終的な品質確認とタスクの反復改善はSemiAnalysisが担当しました。オープンソースモデルの推論にはFireworksが、サンドボックスのインフラにはModalが提供されました。

発表スレッドは11月1日時点でX上で262ポイントを獲得しました。結果はSemiAnalysis自身によるもので、独立した検証は行われていません。