Artificial Analysis : Gemini Decision 1 obtient 66 points à son Decision Index, soit 7 points de moins que les leaders

Selon Artificial Analysis, Gemini Decision 1 de Google obtient 66 points à son Decision Index v2.1, à égalité avec Elephant 9B et Jev 1.14, et 7 points derrière Drex Max v1.1 et GLiDE v1.2, qui obtiennent tous deux 73 points. L’organisme estime que le modèle n’atteint pas encore le niveau des modèles de pointe selon cet indice.

• Points forts : il arrive en tête des modèles de décision en matière de connaissances et de raisonnement, avec 66 points à l’AA-Omniscience-Decision et 49 au HLE-MultiChoice. Son score de Brier (une mesure de calibration, où un score plus bas est préférable) est de 0,18 sur l’ensemble de l’indice.
• Points faibles : sur l’AA-Paperclip, son nouveau benchmark de classification et d’extraction, il répond correctement aux 15 questions dans 33 % des documents, contre 63 % pour Drex Max v1.1.
• Coût et vitesse : à 0,10 $ par million de jetons d’entrée, il coûte 345 $ par million de tâches, soit environ trois fois plus que Drex Max v1.1 (103 $) et un tarif proche de GPT-6 Luna en mode Decisions (339 $). Le temps par tâche est de 211 ms, plus rapide que Drex Max v1.1 (283 ms) et plus lent que Celeris-1.1 Decision (61 ms).

Il s’agit des propres mesures d’Artificial Analysis.