Artificial Analysis: Gemini Decision 1 erreicht 66 Punkte im Decision Index und liegt 7 Punkte hinter den Spitzenreitern

Laut Artificial Analysis erreicht Googles Gemini Decision 1 im Decision Index v2.1 66 Punkte. Damit liegt das Modell gleichauf mit Elephant 9B und Jev 1.14 sowie 7 Punkte hinter Drex Max v1.1 und GLiDE v1.2, die beide 73 Punkte erzielen. Artificial Analysis stuft das Modell im Index noch nicht als Spitzenmodell ein.

• Stärken: Bei den Entscheidungsmodellen liegt es in den Bereichen Wissen und Schlussfolgern vorn, mit 66 Punkten bei AA-Omniscience-Decision und 49 bei HLE-MultiChoice. Sein Brier-Score (ein Maß für die Kalibrierung, bei dem niedrigere Werte besser sind) beträgt über den gesamten Index hinweg 0,18.
• Schwächen: Bei AA-Paperclip, dem neuen Benchmark für Klassifizierung und Extraktion, beantwortet es in 33 % der Dokumente alle 15 Fragen korrekt. Bei Drex Max v1.1 sind es 63 %.
• Kosten und Geschwindigkeit: Bei 0,10 $ pro 1 Mio. Input-Token kostet es 345 $ pro 1 Mio. Aufgaben – etwa dreimal so viel wie Drex Max v1.1 (103 $) und ähnlich viel wie GPT-6 Luna im Decisions-Modus (339 $). Die Bearbeitungszeit pro Aufgabe beträgt 211 ms: schneller als Drex Max v1.1 (283 ms) und langsamer als Celeris-1.1 Decision (61 ms).

Dies sind die eigenen Messwerte von Artificial Analysis.