Artificial Analysis: Gemini Decision 1 ने अपने Decision Index पर 66 अंक हासिल किए, जो अग्रणी मॉडलों से 7 अंक पीछे है

Artificial Analysis के अनुसार, Google के Gemini Decision 1 ने अपने Decision Index v2.1 पर 66 अंक हासिल किए। इसका प्रदर्शन Elephant 9B और Jev 1.14 के बराबर है और यह Drex Max v1.1 तथा GLiDE v1.2 से 7 अंक पीछे है, जिन दोनों के 73 अंक हैं। सूचकांक पर यह मॉडल अभी frontier स्तर पर नहीं है।

• खूबियाँ: ज्ञान और तर्कशक्ति के मामले में यह decision मॉडलों में सबसे आगे है। इसे AA-Omniscience-Decision पर 66 और HLE-MultiChoice पर 49 अंक मिले। पूरे सूचकांक में इसका Brier score (कैलिब्रेशन का माप; कम होना बेहतर है) 0.18 है।
• कमज़ोरियाँ: इसके नए classification और extraction बेंचमार्क AA-Paperclip पर, यह सभी 15 सवालों के सही जवाब 33% दस्तावेज़ों में देता है, जबकि Drex Max v1.1 के लिए यह आंकड़ा 63% है।
• लागत और गति: प्रति 1M इनपुट टोकन $0.10 की दर से, इसकी लागत प्रति 1M कार्यों के लिए $345 है—Drex Max v1.1 ($103) की लागत से लगभग तीन गुना और Decisions मोड में GPT-6 Luna ($339) के करीब। प्रति कार्य समय 211 ms है: Drex Max v1.1 (283 ms) से तेज़ और Celeris-1.1 Decision (61 ms) से धीमा।

ये Artificial Analysis के अपने मापन हैं।