Artificial Analysis: Gemini Decision 1 ottiene 66 nel Decision Index, 7 punti in meno dei leader

Secondo Artificial Analysis, Gemini Decision 1 di Google ottiene 66 nel Decision Index v2.1, in linea con Elephant 9B e Jev 1.14 e 7 punti in meno di Drex Max v1.1 e GLiDE v1.2, che ottengono entrambi 73. L'azienda definisce il modello non ancora all'avanguardia secondo l'indice.

• Punti di forza: supera gli altri modelli decisionali in conoscenza e ragionamento, con 66 nell'AA-Omniscience-Decision e 49 nell'HLE-MultiChoice. Il suo punteggio Brier (una misura della calibrazione, più basso è meglio) è 0.18 sull'intero indice.
• Punti deboli: nell'AA-Paperclip, il nuovo benchmark di classificazione ed estrazione, risponde correttamente a tutte e 15 le domande nel 33% dei documenti, contro il 63% di Drex Max v1.1.
• Costo e velocità: a $0.10 per 1M di token di input, costa $345 per 1M di attività, circa tre volte Drex Max v1.1 ($103) e una cifra vicina a GPT-6 Luna in modalità Decisions ($339). Il tempo per attività è di 211 ms: più rapido di Drex Max v1.1 (283 ms) e più lento di Celeris-1.1 Decision (61 ms).

Queste sono misurazioni effettuate da Artificial Analysis.