Artificial Analysis: Gemini Decision 1 obtiene 66 en su Decision Index, 7 puntos por detrás de los líderes

Artificial Analysis afirma que Gemini Decision 1 de Google obtiene 66 en su Decision Index v2.1, a la par de Elephant 9B y Jev 1.14, y 7 puntos por detrás de Drex Max v1.1 y GLiDE v1.2, que obtienen 73. Señala que el modelo aún no alcanza el nivel de frontera según el índice.

• Fortalezas: lidera entre los modelos de toma de decisiones en conocimiento y razonamiento, con 66 en AA-Omniscience-Decision y 49 en HLE-MultiChoice. Su puntuación Brier (una medida de calibración; cuanto más baja, mejor) es de 0,18 en el índice.
• Debilidades: en AA-Paperclip, su nuevo benchmark de clasificación y extracción, responde correctamente las 15 preguntas en el 33 % de los documentos, frente al 63 % de Drex Max v1.1.
• Coste y velocidad: a $0.10 por 1M de tokens de entrada, cuesta $345 por 1M de tareas, unas tres veces más que Drex Max v1.1 ($103) y cerca de GPT-6 Luna en modo Decisions ($339). El tiempo por tarea es de 211 ms: más rápido que Drex Max v1.1 (283 ms) y más lento que Celeris-1.1 Decision (61 ms).

Estas son mediciones propias de Artificial Analysis.