Artificial Analysis uruchamia VIALS-AA — ranking modeli rozumowania wizualnego w naukach przyrodniczych, w którym prowadzi Gemini 4 Carbon z wynikiem 64%

Artificial Analysis uruchomiło VIALS-AA — ranking oparty na benchmarku VIALS firmy Handshake AI. VIALS obejmuje 161 zadań z ośmiu dziedzin. Model musi odczytać artefakt naukowy (blot żelowy, wykres cytometrii przepływowej, mapę plazmidu, drzewo filogenetyczne) i wyciągnąć konkretny wniosek.

Artificial Analysis uruchamia każde zadanie trzy razy w swoim open source’owym środowisku agentowym Stirrup, wyposażonym w narzędzia do wykonywania kodu i analizy obrazów. GPT-6 Luna (medium) ocenia każdą odpowiedź w odniesieniu do wzorcowej, a wynik oznacza odsetek zadań uznanych za poprawne we wszystkich trzech próbach.

Według Artificial Analysis:

• Najwyższe wyniki: Gemini 4 Carbon (high) prowadzi z wynikiem 64%, przed GPT-6 Astra (max) z 63% i Claude Opus 5.5 (max with fallback) z 61%.
• Koszt: GPT-6 Astra i GPT-6.1 Sol (oba w wariancie max) wykonują około 8 tur na zadanie, podczas gdy Claude Opus 5.5 potrzebuje ich około 27, a Claude Sonnet 5.5 około 25. Claude Opus 5.5 kosztuje średnio 1,64 USD za zadanie — około 29 razy więcej niż Sol, którego koszt wynosi mniej więcej 0,056 USD.
• Otwarte wagi: Kimi K3.1 Pro prowadzi z wynikiem 45%, nieznacznie wyprzedzając MiMo-V2.6-Pro z wynikiem 43% i pozostając około 19 punktów procentowych za liderem.
• Odmowy: W przypadku 14 z 161 zadań co najmniej jeden model odmówił ze względów bezpieczeństwa; Claude Sonnet 5.5 odmówił w 6 przypadkach — najwięcej ze wszystkich modeli.

To pomiary przeprowadzone przez samą Artificial Analysis.