Artificial Analysis lanceert VIALS-AA, een leaderboard voor visueel redeneren in de levenswetenschappen, waarop Gemini 4 Carbon aan kop gaat met 64%

Artificial Analysis heeft VIALS-AA gelanceerd, een leaderboard voor de VIALS-benchmark van Handshake AI. VIALS omvat 161 taken in acht domeinen. Een model moet daarbij een wetenschappelijk beeldmateriaal (zoals gelblots, flowcytometrieplots, plasmidekaarten en fylogenetische bomen) interpreteren en een specifieke conclusie trekken.

Artificial Analysis voert elke taak drie keer uit in de open-source-agentomgeving Stirrup, met tools voor code-uitvoering en beeldinspectie. GPT-6 Luna (medium) beoordeelt elk antwoord aan de hand van het referentieantwoord. De score is het aandeel taken dat in alle drie de uitvoeringen als correct wordt beoordeeld.

Volgens Artificial Analysis:

• Topscores: Gemini 4 Carbon (high) staat bovenaan met 64%, gevolgd door GPT-6 Astra (max) met 63% en Claude Opus 5.5 (max met fallback) met 61%.
• Kosten: GPT-6 Astra en GPT-6.1 Sol (beide max) gebruiken ongeveer 8 beurten per taak, tegenover ongeveer 27 voor Claude Opus 5.5 en ongeveer 25 voor Claude Sonnet 5.5. Opus 5.5 kost gemiddeld $1.64 per taak, ongeveer 29 keer zoveel als Sol, dat rond de $0.056 uitkomt.
• Open gewichten: Kimi K3.1 Pro staat bovenaan met 45%, nipt vóór MiMo-V2.6-Pro met 43%; dat is ongeveer 19 procentpunten minder dan de topscore.
• Weigeringen: Bij 14 van de 161 taken weigerde minstens één model om veiligheidsredenen; Claude Sonnet 5.5 weigerde er 6, het hoogste aantal van alle modellen.

Dit zijn de eigen metingen van Artificial Analysis.