Artificial Analysis: khi không có công cụ, Claude Fable 5.2 giảm từ 67% xuống 44% trên VIALS-AA, thấp hơn Haiku 5.5 khi dùng công cụ

Artificial Analysis chạy lại VIALS-AA, bài benchmark suy luận thị giác trong khoa học sự sống, theo định dạng one-shot: một yêu cầu duy nhất gồm câu hỏi và hình ảnh, không có công cụ. Theo mặc định, benchmark cho các mô hình hoạt động như những tác nhân có thể suy nghĩ, chạy mã và xem hình ảnh trong môi trường sandbox. Theo Artificial Analysis, việc sử dụng công cụ gần như tăng gấp đôi điểm số trên toàn bộ các mô hình, từ khoảng 25% lên trung bình khoảng 47%.

• Fable 5.2 (max): đạt 67% khi dùng công cụ, với chi phí 4,20 USD mỗi tác vụ; đạt 44% khi không dùng công cụ, với chi phí 0,73 USD mỗi tác vụ — thấp hơn Claude Haiku 5.5 (max) khi dùng công cụ.
• Haiku 5.5 (max): đạt 49% khi dùng công cụ, với chi phí 0,07 USD mỗi tác vụ. Artificial Analysis cho biết cách rẻ nhất để đạt một mức điểm nhất định thường là dùng mô hình nhỏ hơn kèm công cụ: Claude Opus 5.5 không dùng công cụ đạt 34% với chi phí 0,33 USD.
• Các tác vụ đếm: trong 23 tác vụ đếm và định lượng tế bào, tỷ lệ đạt^3 của Fable giảm từ 65% khi dùng công cụ xuống 9% khi không dùng; Opus 5.5 giảm từ 57% xuống 4%; Claude Sonnet 5.5 giảm từ 65% xuống 13%. GPT-6 Astra giảm từ 61% xuống 35%, còn GPT-6.1 Sol giảm từ 61% xuống 39%. Trong 23 tác vụ phát sinh chủng loại, Astra đạt 78% khi dùng công cụ và 83% khi không dùng.
• Mô hình nào hưởng lợi nhiều nhất: mười mô hình đạt dưới 31% khi không dùng công cụ có trung bình khoảng 42 lượt gọi công cụ mỗi tác vụ, trong khi bảy mô hình đạt trên mức đó có khoảng 23 lượt. MiMo-V2.6-Pro tăng từ 5% lên 43%, với khoảng 49 lượt gọi mỗi tác vụ; Gemini 3.8 Flash (high) tăng từ 16% lên 41%, với khoảng 68 lượt. Astra và Sol thực hiện khoảng 8 lượt gọi mỗi tác vụ, và tăng lần lượt 13 và 16 điểm phần trăm.
• Chi phí: công cụ làm tăng chi phí mỗi tác vụ ở mọi mô hình, từ mức tăng của Astra từ 0,21 USD lên 0,27 USD đến mức tăng 5,8 lần của Fable; các mức tăng bội số lớn nhất là Qwen3.8 Max (0902, xhigh) với 28 lần, Gemini 3.8 Flash với 20 lần và MiMo-V2.6-Pro với 15 lần.

Đây là các phép đo do chính Artificial Analysis thực hiện.