Artificial Analysis ra mắt VIALS-AA, bảng xếp hạng suy luận hình ảnh trong khoa học sự sống, với Gemini 4 Carbon dẫn đầu ở mức 64%

Artificial Analysis đã ra mắt VIALS-AA, bảng xếp hạng dành cho benchmark VIALS của Handshake AI. VIALS gồm 161 tác vụ thuộc tám lĩnh vực, trong đó mô hình phải đọc một tư liệu khoa học (ảnh gel blot, biểu đồ đo tế bào dòng chảy, bản đồ plasmid, cây phát sinh chủng loại) và đưa ra một kết luận cụ thể.

Artificial Analysis chạy mỗi tác vụ ba lần bằng bộ khung tác nhân mã nguồn mở Stirrup, với các công cụ thực thi mã và kiểm tra hình ảnh. GPT-6 Luna (medium) chấm từng câu trả lời dựa trên đáp án tham chiếu; điểm số là tỷ lệ tác vụ được đánh giá là chính xác trong cả ba lần chạy.

Theo Artificial Analysis:

• Điểm số cao nhất: Gemini 4 Carbon (high) dẫn đầu với 64%, tiếp theo là GPT-6 Astra (max) ở mức 63% và Claude Opus 5.5 (max with fallback) ở mức 61%.
• Chi phí: GPT-6 Astra và GPT-6.1 Sol (đều ở max) dùng khoảng 8 lượt mỗi tác vụ, so với khoảng 27 lượt của Claude Opus 5.5 và khoảng 25 lượt của Claude Sonnet 5.5. Opus 5.5 có chi phí trung bình 1,64 USD mỗi tác vụ, cao gấp khoảng 29 lần Sol, với mức xấp xỉ 0,056 USD.
• Trọng số mở: Kimi K3.1 Pro dẫn đầu ở mức 45%, nhỉnh hơn MiMo-V2.6-Pro với 43%, thấp hơn điểm số cao nhất khoảng 19 điểm phần trăm.
• Từ chối: 14 trong số 161 tác vụ khiến ít nhất một mô hình từ chối vì lý do an toàn; Claude Sonnet 5.5 từ chối 6 tác vụ, nhiều nhất trong số các mô hình.

Đây là kết quả đo lường riêng của Artificial Analysis.