Artificial Analysis: 도구를 사용하지 않으면 Claude Fable 5.2의 VIALS-AA 점수가 67%에서 44%로 하락해, 도구를 사용하는 Haiku 5.5보다 낮아

Artificial Analysis가 생명과학 시각 추론 벤치마크인 VIALS-AA를 원샷 형식으로 다시 실행했습니다. 질문과 이미지가 담긴 요청 한 번만 사용하고 도구는 쓰지 않는 방식입니다. 기본 벤치마크에서는 모델이 샌드박스에서 에이전트처럼 작동하며 추론하고, 코드를 실행하고, 이미지를 살펴봅니다. Artificial Analysis에 따르면 모델 전반에서 도구를 사용하면 점수가 거의 두 배로 올라 평균 약 25%에서 약 47%가 됩니다.

• Fable 5.2 (max): 도구 사용 시 작업당 $4.20에 67%, 도구 미사용 시 작업당 $0.73에 44%로, 도구를 사용하는 Claude Haiku 5.5 (max)보다 낮습니다.
• Haiku 5.5 (max): 도구 사용 시 작업당 $0.07에 49%를 기록했습니다. Artificial Analysis는 특정 점수에 도달하는 가장 저렴한 방법은 도구를 사용하는 소형 모델인 경우가 많다고 말합니다. Claude Opus 5.5는 도구 없이 작업당 $0.33에 34%를 기록합니다.
• 계수 작업: 세포 계수 및 정량화 작업 23개에서 Fable의 pass^3 비율은 도구 사용 시 65%에서 미사용 시 9%로 하락했습니다. Opus 5.5는 57%에서 4%로, Claude Sonnet 5.5는 65%에서 13%로 하락했습니다. GPT-6 Astra는 61%에서 35%로, GPT-6.1 Sol은 61%에서 39%로 하락했습니다. 계통발생학 작업 23개에서는 Astra가 도구 사용 시 78%, 미사용 시 83%를 통과했습니다.
• 가장 큰 향상을 보인 모델: 도구 미사용 점수가 31% 미만인 모델 10개의 작업당 평균 도구 호출 횟수는 약 42회였고, 31%를 넘는 모델 7개는 약 23회였습니다. MiMo-V2.6-Pro는 작업당 약 49회 호출하며 5%에서 43%로 올랐고, Gemini 3.8 Flash (high)는 약 68회 호출하며 16%에서 41%로 올랐습니다. Astra와 Sol은 작업당 약 8회 호출하고 각각 13점과 16점 상승했습니다.
• 비용: 도구를 사용하면 모든 모델의 작업당 비용이 증가합니다. Astra는 $0.21에서 $0.27로 늘어난 반면 Fable은 5.8배 증가했습니다. 증가 배수가 가장 큰 모델은 Qwen3.8 Max (0902, xhigh)의 28배, Gemini 3.8 Flash의 20배, MiMo-V2.6-Pro의 15배입니다.

이는 Artificial Analysis가 자체적으로 측정한 결과입니다.