Artificial Analysis: zonder tools zakt Claude Fable 5.2 op VIALS-AA van 67% naar 44%, onder Haiku 5.5 met tools

Artificial Analysis heeft VIALS-AA, zijn benchmark voor visueel redeneren in de levenswetenschappen, opnieuw uitgevoerd in een one-shot-formaat: één verzoek met de vraag en afbeeldingen, zonder tools. Standaard laat de benchmark modellen als agents werken die nadenken, code uitvoeren en afbeeldingen bekijken in een sandbox. Volgens Artificial Analysis verdubbelt toolgebruik de scores bij modellen bijna: gemiddeld van ongeveer 25% naar ongeveer 47%.

• Fable 5.2 (max): 67% met tools voor $4,20 per taak; 44% zonder tools voor $0,73 per taak, lager dan Claude Haiku 5.5 (max) met tools.
• Haiku 5.5 (max): 49% met tools voor $0,07 per taak. Artificial Analysis zegt dat een kleiner model met tools vaak de goedkoopste manier is om een bepaalde score te halen: Claude Opus 5.5 scoort zonder tools 34% voor $0,33.
• Teltaken: op de 23 taken voor het tellen en kwantificeren van cellen daalt Fables pass^3-percentage van 65% met tools naar 9% zonder; dat van Opus 5.5 van 57% naar 4%; dat van Claude Sonnet 5.5 van 65% naar 13%. GPT-6 Astra daalt van 61% naar 35% en GPT-6.1 Sol van 61% naar 39%. Op de 23 taken voor fylogenetica slaagt Astra met tools voor 78% en zonder tools voor 83%.
• Wie boekt de meeste winst: de tien modellen die zonder tools onder 31% scoren, doen gemiddeld ongeveer 42 toolaanroepen per taak; de zeven modellen daarboven ongeveer 23. MiMo-V2.6-Pro stijgt van 5% naar 43% met ongeveer 49 aanroepen per taak; Gemini 3.8 Flash (high) van 16% naar 41% met ongeveer 68. Astra en Sol doen ongeveer 8 aanroepen per taak en winnen respectievelijk 13 en 16 procentpunten.
• Kosten: tools verhogen de kosten per taak voor elk model, van Astra's $0,21 naar $0,27 tot Fables stijging met een factor 5,8; de grootste veelvouden zijn voor Qwen3.8 Max (0902, xhigh) met 28×, Gemini 3.8 Flash met 20× en MiMo-V2.6-Pro met 15×.

Dit zijn de eigen metingen van Artificial Analysis.