Artificial Analysis、ライフサイエンス分野の視覚推論を評価するVIALS-AAを公開　Gemini 4 Carbonが64%で首位

Artificial Analysisは、Handshake AIのVIALSベンチマークを対象とするリーダーボード「VIALS-AA」を公開しました。VIALSには8領域にわたる161のタスクがあり、モデルは科学的な資料（ゲルブロット、フローサイトメトリーのプロット、プラスミドマップ、系統樹など）を読み取り、具体的な結論を導く必要があります。

Artificial Analysisは、オープンソースのエージェント実行環境Stirrupを使い、コード実行と画像検査ツールを利用して各タスクを3回実行します。GPT-6 Luna（medium）が各回答を参照解答と照合して採点し、3回すべてで正解と判定されたタスクの割合をスコアとしています。

Artificial Analysisによると：

• 上位スコア： Gemini 4 Carbon（high）が64%で首位。GPT-6 Astra（max）は63%、Claude Opus 5.5（max with fallback）は61%でした。
• コスト： GPT-6 AstraとGPT-6.1 Sol（いずれもmax）は、1タスクあたり約8ターンを使用。一方、Claude Opus 5.5は約27ターン、Claude Sonnet 5.5は約25ターンです。Opus 5.5の1タスクあたりの平均コストは1.64ドルで、Solの約0.056ドルの約29倍です。
• オープンウェイト： Kimi K3.1 Proが45%で首位となり、MiMo-V2.6-Proの43%を僅差で上回りました。トップスコアには約19ポイント届きません。
• 回答拒否： 161タスクのうち14件で、少なくとも1つのモデルが安全上の理由から回答を拒否しました。Claude Sonnet 5.5は6件で、モデル中最多でした。

これらはArtificial Analysis独自の測定結果です。