Artificial Analysis: Gemini Decision 1 scoort 66 op de Decision Index, 7 punten achter de koplopers

Volgens Artificial Analysis scoort Google's Gemini Decision 1 66 op de Decision Index v2.1, vergelijkbaar met Elephant 9B en Jev 1.14 en 7 punten achter Drex Max v1.1 en GLiDE v1.2, die allebei 73 scoren. Het noemt het model op de index nog geen frontier-model.

• Sterke punten: het scoort onder beslismodellen het hoogst op kennis en redeneren, met 66 op AA-Omniscience-Decision en 49 op HLE-MultiChoice. De Brier-score (een maat voor kalibratie, waarbij lager beter is) bedraagt 0,18 over de hele index.
• Zwakke punten: bij AA-Paperclip, de nieuwe benchmark voor classificatie en extractie, beantwoordt het alle 15 vragen correct voor 33% van de documenten, tegenover 63% voor Drex Max v1.1.
• Kosten en snelheid: met $0.10 per 1M invoertokens kost het $345 per 1M taken, ongeveer drie keer zoveel als Drex Max v1.1 ($103) en bijna evenveel als GPT-6 Luna in de modus Decisions ($339). De tijd per taak bedraagt 211 ms: sneller dan Drex Max v1.1 (283 ms) en langzamer dan Celeris-1.1 Decision (61 ms).

Dit zijn de eigen metingen van Artificial Analysis.