Artificial Analysis: Gemini Decision 1 набрала 66 баллов в Decision Index — на 7 баллов меньше, чем лидеры

По данным Artificial Analysis, Gemini Decision 1 от Google набирает 66 баллов в Decision Index v2.1 — столько же, сколько Elephant 9B и Jev 1.14, и на 7 баллов меньше, чем Drex Max v1.1 и GLiDE v1.2, у которых по 73 балла. По оценке компании, модель пока не достигла уровня передовых моделей по этому индексу.

• Сильные стороны: среди моделей для принятия решений она лидирует по знаниям и рассуждениям, набрав 66 баллов в AA-Omniscience-Decision и 49 — в HLE-MultiChoice. Её показатель Брайера (мера калибровки, где меньше — лучше) составляет 0,18 по индексу.
• Слабые стороны: в AA-Paperclip, новом бенчмарке для классификации и извлечения данных, модель правильно отвечает на все 15 вопросов в 33% документов — против 63% у Drex Max v1.1.
• Стоимость и скорость: при цене $0,10 за 1 млн входных токенов она обходится в $345 за 1 млн задач — примерно втрое дороже Drex Max v1.1 ($103) и примерно столько же, сколько GPT-6 Luna в режиме Decisions ($339). Время выполнения одной задачи — 211 мс: быстрее, чем Drex Max v1.1 (283 мс), и медленнее, чем Celeris-1.1 Decision (61 мс).

Это собственные измерения Artificial Analysis.