Artificial Analysis, 생명과학 시각 추론 리더보드 VIALS-AA 출시… Gemini 4 Carbon이 64%로 선두

Artificial Analysis가 Handshake AI의 VIALS 벤치마크를 위한 리더보드 VIALS-AA를 출시했습니다. VIALS에는 8개 분야에 걸친 161개 과제가 있으며, 각 과제에서 모델은 과학 자료(젤 블롯, 유세포 분석 그래프, 플라스미드 지도, 계통수)를 읽고 구체적인 결론을 도출해야 합니다.

Artificial Analysis는 오픈소스 Stirrup 에이전트 하네스에서 코드 실행 및 이미지 검사 도구를 사용해 각 과제를 세 차례 수행합니다. GPT-6 Luna (medium)가 각 답변을 정답과 대조해 채점하며, 점수는 세 차례 모두 정답으로 판정된 과제의 비율입니다.

Artificial Analysis에 따르면:

• 최고 점수: Gemini 4 Carbon (high)이 64%로 선두를 차지했으며, GPT-6 Astra (max)는 63%, Claude Opus 5.5 (fallback 포함 max)는 61%를 기록했습니다.
• 비용: GPT-6 Astra와 GPT-6.1 Sol(모두 max)은 과제당 약 8회 턴을 사용하는 반면, Claude Opus 5.5는 약 27회, Claude Sonnet 5.5는 약 25회 사용합니다. Opus 5.5의 과제당 평균 비용은 $1.64로, Sol의 약 $0.056보다 약 29배 높습니다.
• 오픈 웨이트: Kimi K3.1 Pro가 45%로 선두를 차지했으며, MiMo-V2.6-Pro가 43%로 근소하게 뒤를 이었습니다. 최고 점수와는 약 19%포인트 차이가 납니다.
• 응답 거부: 161개 과제 중 14개에서 최소 한 모델이 안전상의 이유로 답변을 거부했습니다. Claude Sonnet 5.5는 6개 과제를 거부해 모델 중 가장 많았습니다.

이는 Artificial Analysis 자체 측정 결과입니다.