Artificial Analysis: टूल्स के बिना, VIALS-AA पर Claude Fable 5.2 का स्कोर 67% से गिरकर 44% हुआ—टूल्स के साथ Haiku 5.5 से भी कम

Artificial Analysis ने अपने जीवन-विज्ञान दृश्य-तर्क बेंचमार्क VIALS-AA को one-shot प्रारूप में फिर से चलाया: एक ही अनुरोध में सवाल और तस्वीरें, और कोई टूल नहीं। डिफ़ॉल्ट रूप से, इस बेंचमार्क में मॉडल ऐसे एजेंटों के रूप में काम करते हैं जो सोचते हैं, कोड चलाते हैं और sandbox में तस्वीरें देखते हैं। इसके मुताबिक, सभी मॉडलों में टूल्स का इस्तेमाल स्कोर को लगभग दोगुना कर देता है—औसतन लगभग 25% से 47% तक।

• Fable 5.2 (max): टूल्स के साथ 67%, प्रति टास्क $4.20; टूल्स के बिना 44%, प्रति टास्क $0.73—जो टूल्स के साथ Claude Haiku 5.5 (max) से कम है।
• Haiku 5.5 (max): टूल्स के साथ 49%, प्रति टास्क $0.07। Artificial Analysis का कहना है कि किसी दिए गए स्कोर तक पहुँचने का सबसे सस्ता तरीका अक्सर टूल्स के साथ छोटा मॉडल इस्तेमाल करना होता है: बिना टूल्स के Claude Opus 5.5 का स्कोर 34% है और इसकी लागत $0.33 है।
• गिनती वाले टास्क: कोशिकाओं की गिनती और परिमाणीकरण वाले 23 टास्क में, टूल्स के साथ Fable की pass^3 दर 65% से गिरकर टूल्स के बिना 9% हो जाती है; Opus 5.5 की 57% से 4% और Claude Sonnet 5.5 की 65% से 13%। GPT-6 Astra का स्कोर 61% से गिरकर 35% और GPT-6.1 Sol का 61% से 39% हो जाता है। 23 फ़ाइलोजेनेटिक्स टास्क में Astra टूल्स के साथ 78% और बिना टूल्स के 83% पास करता है।
• किसे सबसे ज़्यादा फ़ायदा: बिना टूल्स के 31% से कम स्कोर करने वाले दस मॉडल प्रति टास्क औसतन लगभग 42 टूल कॉल करते हैं, जबकि 31% से ऊपर स्कोर करने वाले सात मॉडल लगभग 23। MiMo-V2.6-Pro का स्कोर प्रति टास्क लगभग 49 कॉल के साथ 5% से बढ़कर 43% हो जाता है; Gemini 3.8 Flash (high) का लगभग 68 कॉल के साथ 16% से 41%। Astra और Sol प्रति टास्क लगभग 8 कॉल करते हैं और क्रमशः 13 और 16 अंक का लाभ पाते हैं।
• लागत: टूल्स हर मॉडल के लिए प्रति टास्क लागत बढ़ाते हैं—Astra के $0.21 से $0.27 तक, जबकि Fable की लागत 5.8× बढ़ती है। सबसे बड़े गुणक Qwen3.8 Max (0902, xhigh) के लिए 28×, Gemini 3.8 Flash के लिए 20× और MiMo-V2.6-Pro के लिए 15× हैं।

ये Artificial Analysis के अपने माप हैं।