Artificial Analysis 推出 VIALS-AA:生命科學視覺推理排行榜,Gemini 4 Carbon 以 64% 領先
Artificial Analysis 推出了 VIALS-AA,這是 Handshake AI 的 VIALS 基準測試排行榜。VIALS 包含八個領域的 161 項任務,模型必須讀取科學圖像資料(凝膠轉漬圖、流式細胞儀圖表、質體圖譜、系統發育樹),並得出特定結論。
Artificial Analysis 使用其開源 Stirrup 代理程式框架執行每項任務三次,並提供程式碼執行與影像檢視工具。GPT-6 Luna(medium)會依據參考答案為每個回答評分;分數是三次執行結果都被判定正確的任務占比。
根據 Artificial Analysis:
- 最高分: Gemini 4 Carbon(high)以 64% 領先,GPT-6 Astra(max)以 63% 居次,Claude Opus 5.5(max with fallback)則為 61%。
- 成本: GPT-6 Astra 和 GPT-6.1 Sol(皆為 max)每項任務約使用 8 個回合,相較之下,Claude Opus 5.5 約為 27 個回合,Claude Sonnet 5.5 約為 25 個回合。Opus 5.5 每項任務平均花費 1.64 美元,約為 Sol 約 0.056 美元的 29 倍。
- 開放權重: Kimi K3.1 Pro 以 45% 領先,略高於 MiMo-V2.6-Pro 的 43%,與最高分相差約 19 個百分點。
- 拒答: 161 項任務中,有 14 項至少遭到一個模型以安全理由拒答;Claude Sonnet 5.5 拒答 6 項,是所有模型中最多的。
以上數據為 Artificial Analysis 自行測得。
來源
這樣的新聞,第一時間推播給你。
你使用的 AI 工具一有變化,AI Tracker 就會通知你。