Artificial Analysis startet VIALS-AA, ein Leaderboard für visuelles Schlussfolgern in den Biowissenschaften, auf dem Gemini 4 Carbon mit 64 % führt

Artificial Analysis hat VIALS-AA gestartet, ein Leaderboard für Handshake AIs VIALS-Benchmark. VIALS umfasst 161 Aufgaben aus acht Bereichen. Dabei muss ein Modell ein wissenschaftliches Artefakt (Gel-Blots, Durchflusszytometrie-Diagramme, Plasmidkarten, Phylogenien) auswerten und eine konkrete Schlussfolgerung ziehen.

Artificial Analysis führt jede Aufgabe dreimal mit seinem Open-Source-Agenten-Framework Stirrup aus, das Tools zur Codeausführung und Bildanalyse bietet. GPT-6 Luna (medium) bewertet jede Antwort anhand der Referenz; der Wert entspricht dem Anteil der Aufgaben, die in allen drei Durchläufen als korrekt bewertet werden.

Laut Artificial Analysis:

• Spitzenwerte: Gemini 4 Carbon (high) führt mit 64 %, vor GPT-6 Astra (max) mit 63 % und Claude Opus 5.5 (max mit Fallback) mit 61 %.
• Kosten: GPT-6 Astra und GPT-6.1 Sol (beide max) benötigen etwa 8 Schritte pro Aufgabe, verglichen mit etwa 27 bei Claude Opus 5.5 und etwa 25 bei Claude Sonnet 5.5. Opus 5.5 kostet im Schnitt 1,64 $ pro Aufgabe – etwa das 29-Fache von Sols ungefähr 0,056 $.
• Offene Gewichte: Kimi K3.1 Pro liegt mit 45 % vorn, knapp vor MiMo-V2.6-Pro mit 43 % und etwa 19 Prozentpunkte hinter dem Spitzenwert.
• Verweigerungen: Bei 14 der 161 Aufgaben verweigerte mindestens ein Modell aus Sicherheitsgründen die Antwort; Claude Sonnet 5.5 verweigerte bei 6 Aufgaben, mehr als jedes andere Modell.

Dies sind eigene Messungen von Artificial Analysis.