Artificial Analysis: Gemini Decision 1 marca 66 no Decision Index, 7 pontos atrás dos líderes

Segundo a Artificial Analysis, o Gemini Decision 1, do Google, marca 66 no Decision Index v2.1, em linha com o Elephant 9B e o Jev 1.14 e 7 pontos atrás do Drex Max v1.1 e do GLiDE v1.2, que marcam 73. A empresa afirma que o modelo ainda não está na fronteira de desempenho do índice.

• Pontos fortes: lidera os modelos de decisão em conhecimento e raciocínio, com 66 no AA-Omniscience-Decision e 49 no HLE-MultiChoice. Sua pontuação Brier (uma medida de calibração, em que valores menores são melhores) é 0,18 no índice.
• Pontos fracos: no AA-Paperclip, seu novo benchmark de classificação e extração, responde corretamente às 15 perguntas em 33% dos documentos, contra 63% do Drex Max v1.1.
• Custo e velocidade: a US$ 0,10 por 1 milhão de tokens de entrada, custa US$ 345 por 1 milhão de tarefas, cerca de três vezes o custo do Drex Max v1.1 (US$ 103) e próximo ao do GPT-6 Luna no modo Decisions (US$ 339). O tempo por tarefa é de 211 ms: mais rápido que o Drex Max v1.1 (283 ms) e mais lento que o Celeris-1.1 Decision (61 ms).

Essas são medições da própria Artificial Analysis.