Artificial Analysis：Gemini Decision 1はDecision Indexで66点、首位モデルに7点及ばず

Artificial Analysisによると、GoogleのGemini Decision 1はDecision Index v2.1で66点を獲得。Elephant 9BやJev 1.14と同程度で、73点のDrex Max v1.1とGLiDE v1.2に7点及ばない。同社は、このモデルは同インデックスでまだフロンティアには達していないとしている。

• 強み： 知識と推論で意思決定モデルの首位に立ち、AA-Omniscience-Decisionで66点、HLE-MultiChoiceで49点を獲得。較正を測るBrierスコア（低いほど良好）は、インデックス全体で0.18。
• 弱み： 新しい分類・抽出ベンチマークであるAA-Paperclipでは、15問すべてに正解した文書の割合が33%。Drex Max v1.1は63%。
• コストと速度： 入力トークン100万件あたり0.10ドルで、タスク100万件あたりのコストは345ドル。Drex Max v1.1（103ドル）の約3倍で、DecisionsモードのGPT-6 Luna（339ドル）に近い。1タスクあたりの処理時間は211ミリ秒で、Drex Max v1.1（283ミリ秒）より速く、Celeris-1.1 Decision（61ミリ秒）より遅い。

これらはArtificial Analysis独自の測定結果です。