Artificial Analysis:Gemini Decision 1 在 Decision Index 得分 66,落後領先者 7 分
Artificial Analysis 表示,Google 的 Gemini Decision 1 在 Decision Index v2.1 得分 66,與 Elephant 9B 和 Jev 1.14 相當,落後 Drex Max v1.1 和 GLiDE v1.2 7 分;後兩者得分皆為 73。該機構稱,這款模型在該指數上尚未達到前沿水準。
- 優勢:它在知識與推理方面領先其他決策模型,在 AA-Omniscience-Decision 得分 66,在 HLE-MultiChoice 得分 49。它在該指數上的 Brier 分數(校準度量,越低越好)為 0.18。
- 弱點:在 AA-Paperclip(其新的分類與擷取基準測試)中,15 個問題全答對的文件僅占 33%,而 Drex Max v1.1 為 63%。
- 成本與速度:輸入 token 每 100 萬個收費 $0.10,每 100 萬項任務的成本為 $345,約為 Drex Max v1.1($103)的三倍,且接近 GPT-6 Luna 在 Decisions 模式下的成本($339)。每項任務耗時 211 毫秒,快於 Drex Max v1.1(283 毫秒),但慢於 Celeris-1.1 Decision(61 毫秒)。
以上數據為 Artificial Analysis 自行測得。
來源
這樣的新聞,第一時間推播給你。
你使用的 AI 工具一有變化,AI Tracker 就會通知你。