Artificial Analysis: Gemini Decision 1, Decision Index’inde 66 puan alarak liderlerin 7 puan gerisinde kaldı

Artificial Analysis’a göre Google’ın Gemini Decision 1 modeli, Decision Index v2.1’de 66 puan alıyor; Elephant 9B ve Jev 1.14 ile aynı seviyede ve her ikisi de 73 puan alan Drex Max v1.1 ile GLiDE v1.2’nin 7 puan gerisinde. Kurum, modelin endekste henüz öncü seviyede olmadığını belirtiyor.

• Güçlü yönleri: bilgi ve akıl yürütme alanlarında karar modelleri arasında öne çıkıyor; AA-Omniscience-Decision’da 66, HLE-MultiChoice’ta 49 puan alıyor. Endeks genelindeki Brier skoru (kalibrasyon ölçütü; düşük olması daha iyi) 0,18.
• Zayıf yönleri: yeni sınıflandırma ve bilgi çıkarma kıyaslaması AA-Paperclip’te, 15 sorunun tamamını belgelerin %33’ünde doğru yanıtlıyor; Drex Max v1.1’de bu oran %63.
• Maliyet ve hız: 1 milyon giriş token’ı başına 0,10 dolardan, 1 milyon görev başına maliyeti 345 dolar; bu, Drex Max v1.1’in maliyetinin (103 dolar) yaklaşık üç katı ve Decisions modundaki GPT-6 Luna’nın maliyetine (339 dolar) yakın. Görev başına süre 211 ms; Drex Max v1.1’den (283 ms) hızlı, Celeris-1.1 Decision’dan (61 ms) yavaş.

Bunlar Artificial Analysis’ın kendi ölçümleridir.