Artificial Analysis: Gemini Decision 1 uzyskuje 66 punktów w Decision Index, o 7 mniej od liderów

Według Artificial Analysis Gemini Decision 1 uzyskuje 66 punktów w Decision Index v2.1, tyle samo co Elephant 9B i Jev 1.14, oraz o 7 punktów mniej niż Drex Max v1.1 i GLiDE v1.2, które zdobywają po 73 punkty. Model nie osiąga jeszcze poziomu czołówki w tym indeksie.

• Mocne strony: wśród modeli decyzyjnych prowadzi pod względem wiedzy i rozumowania, uzyskując 66 punktów w AA-Omniscience-Decision i 49 w HLE-MultiChoice. Jego wynik Brier (miara kalibracji, gdzie niższy wynik jest lepszy) wynosi 0,18 w całym indeksie.
• Słabe strony: w AA-Paperclip, nowym benchmarku klasyfikacji i ekstrakcji, poprawnie odpowiada na wszystkie 15 pytań w przypadku 33% dokumentów, podczas gdy Drex Max v1.1 osiąga 63%.
• Koszt i szybkość: przy cenie 0,10 USD za 1 mln tokenów wejściowych kosztuje 345 USD za 1 mln zadań — około trzy razy więcej niż Drex Max v1.1 (103 USD) i niemal tyle samo co GPT-6 Luna w trybie Decisions (339 USD). Czas na zadanie wynosi 211 ms: mniej niż w przypadku Drex Max v1.1 (283 ms), ale więcej niż w przypadku Celeris-1.1 Decision (61 ms).

To pomiary przeprowadzone przez Artificial Analysis.