Artificial Analysis: Gemini Decision 1, Decision Index에서 66점으로 선두 모델보다 7점 낮아

Artificial Analysis에 따르면 Google의 Gemini Decision 1은 Decision Index v2.1에서 66점을 기록해 Elephant 9B 및 Jev 1.14와 비슷한 수준이며, 각각 73점을 기록한 Drex Max v1.1 및 GLiDE v1.2보다 7점 낮습니다. 이 지수에서 아직 프런티어 모델은 아니라고 평가했습니다.

• 강점: 지식 및 추론 부문에서 의사결정 모델 중 선두를 차지했으며, AA-Omniscience-Decision에서 66점, HLE-MultiChoice에서 49점을 기록했습니다. 지수 전반의 Brier 점수(낮을수록 보정이 잘됨)는 0.18입니다.
• 약점: 새로운 분류·추출 벤치마크인 AA-Paperclip에서는 문서의 33%에서 15개 질문 모두에 정답을 답했습니다. Drex Max v1.1은 63%를 기록했습니다.
• 비용 및 속도: 입력 토큰 100만 개당 $0.10으로, 작업 100만 건당 비용은 $345입니다. Drex Max v1.1($103)의 약 3배이며, Decisions 모드의 GPT-6 Luna($339)와 비슷합니다. 작업당 소요 시간은 211ms로 Drex Max v1.1(283ms)보다 빠르고 Celeris-1.1 Decision(61ms)보다는 느립니다.

이는 Artificial Analysis 자체 측정 결과입니다.