Artificial Analysis: Gemini Decision 1 meraih skor 66 pada Decision Index, tertinggal 7 poin dari para pemimpin

Menurut Artificial Analysis, Gemini Decision 1 dari Google meraih skor 66 pada Decision Index v2.1, setara dengan Elephant 9B dan Jev 1.14, serta tertinggal 7 poin dari Drex Max v1.1 dan GLiDE v1.2, yang masing-masing meraih skor 73. Artificial Analysis menyebut model ini belum mencapai kelas frontier menurut indeks tersebut.

• Keunggulan: model ini memimpin di antara model pengambilan keputusan dalam pengetahuan dan penalaran, dengan skor 66 pada AA-Omniscience-Decision dan 49 pada HLE-MultiChoice. Skor Brier-nya (ukuran kalibrasi; makin rendah makin baik) adalah 0,18 di seluruh indeks.
• Kelemahan: pada AA-Paperclip, tolok ukur klasifikasi dan ekstraksi barunya, model ini menjawab semua 15 pertanyaan dengan benar pada 33% dokumen, dibandingkan 63% untuk Drex Max v1.1.
• Biaya dan kecepatan: dengan harga $0.10 per 1M token input, biayanya $345 per 1M tugas—sekitar tiga kali lipat biaya Drex Max v1.1 ($103) dan mendekati GPT-6 Luna dalam mode Decisions ($339). Waktu per tugasnya 211 ms, lebih cepat daripada Drex Max v1.1 (283 ms) dan lebih lambat daripada Celeris-1.1 Decision (61 ms).

Angka-angka ini berasal dari pengukuran Artificial Analysis sendiri.