Artificial Analysis: Gemini Decision 1 đạt 66 điểm trên Decision Index, kém các mẫu dẫn đầu 7 điểm

Artificial Analysis cho biết Gemini Decision 1 của Google đạt 66 điểm trên Decision Index v2.1, ngang với Elephant 9B và Jev 1.14, đồng thời kém Drex Max v1.1 và GLiDE v1.2 7 điểm; cả hai mẫu này đều đạt 73 điểm. Theo chỉ số này, mô hình chưa thuộc nhóm tiên phong.

• Điểm mạnh: mô hình dẫn đầu các mẫu chuyên về ra quyết định ở khả năng kiến thức và suy luận, đạt 66 điểm trên AA-Omniscience-Decision và 49 điểm trên HLE-MultiChoice. Điểm Brier (thước đo hiệu chuẩn, càng thấp càng tốt) của mô hình là 0,18 trên toàn chỉ số.
• Điểm yếu: trên AA-Paperclip, bộ chuẩn mới về phân loại và trích xuất, mô hình trả lời đúng cả 15 câu hỏi ở 33% số tài liệu, so với 63% của Drex Max v1.1.
• Chi phí và tốc độ: với giá 0,10 USD cho mỗi 1 triệu token đầu vào, mô hình có chi phí 345 USD cho mỗi 1 triệu tác vụ, cao gấp khoảng ba lần Drex Max v1.1 (103 USD) và gần bằng GPT-6 Luna ở chế độ Decisions (339 USD). Thời gian xử lý mỗi tác vụ là 211 ms, nhanh hơn Drex Max v1.1 (283 ms) nhưng chậm hơn Celeris-1.1 Decision (61 ms).

Đây là kết quả đo lường riêng của Artificial Analysis.