Artificial Analysis: Ohne Tools fällt Claude Fable 5.2 bei VIALS-AA von 67 % auf 44 % und liegt damit unter Haiku 5.5 mit Tools

Artificial Analysis hat VIALS-AA, seinen Benchmark für visuelles Schlussfolgern in den Lebenswissenschaften, im One-Shot-Format erneut ausgeführt: mit einer einzigen Anfrage, die Frage und Bilder enthält, und ohne Tools. Standardmäßig lässt der Benchmark Modelle als Agenten arbeiten, die nachdenken, Code ausführen und Bilder in einer Sandbox betrachten. Über alle Modelle hinweg verdoppelt der Einsatz von Tools die Ergebnisse laut Artificial Analysis nahezu: von durchschnittlich etwa 25 % auf etwa 47 %.

• Fable 5.2 (max): 67 % mit Tools für 4,20 $ pro Aufgabe; 44 % ohne Tools für 0,73 $ pro Aufgabe – weniger als Claude Haiku 5.5 (max) mit Tools.
• Haiku 5.5 (max): 49 % mit Tools für 0,07 $ pro Aufgabe. Laut Artificial Analysis ist ein kleineres Modell mit Tools oft der günstigste Weg zu einem bestimmten Ergebnis: Claude Opus 5.5 erzielt ohne Tools 34 % für 0,33 $.
• Zählaufgaben: Bei den 23 Aufgaben zur Zellzählung und Quantifizierung fällt Fables Pass^3-Rate von 65 % mit Tools auf 9 % ohne; Opus 5.5 fällt von 57 % auf 4 %; Claude Sonnet 5.5 von 65 % auf 13 %. GPT-6 Astra fällt von 61 % auf 35 % und GPT-6.1 Sol von 61 % auf 39 %. Bei den 23 phylogenetischen Aufgaben besteht Astra 78 % mit Tools und 83 % ohne.
• Wer profitiert am meisten: Die zehn Modelle mit Ergebnissen unter 31 % ohne Tools tätigen durchschnittlich etwa 42 Tool-Aufrufe pro Aufgabe, die sieben Modelle mit höheren Ergebnissen etwa 23. MiMo-V2.6-Pro steigt mit etwa 49 Aufrufen pro Aufgabe von 5 % auf 43 %; Gemini 3.8 Flash (high) mit etwa 68 von 16 % auf 41 %. Astra und Sol tätigen etwa 8 Aufrufe pro Aufgabe und legen um 13 beziehungsweise 16 Punkte zu.
• Kosten: Tools erhöhen bei jedem Modell die Kosten pro Aufgabe: bei Astra von 0,21 $ auf 0,27 $, bei Fable um das 5,8-Fache. Die größten Kostenmultiplikatoren verzeichnen Qwen3.8 Max (0902, xhigh) mit dem 28-Fachen, Gemini 3.8 Flash mit dem 20-Fachen und MiMo-V2.6-Pro mit dem 15-Fachen.

Dies sind die eigenen Messungen von Artificial Analysis.