Arena: 장기 Agent Arena 작업에서 Claude Opus 5.5는 가장 오래, Kimi K3.1 Pro는 가장 짧게 작업한다

리더보드를 운영하는 Arena는 코드베이스를 Rust로 포팅하거나, 투자 전략 문서를 감사하거나, 수학 교과서를 집필하는 등 수백 턴에 걸쳐 진행되는 Agent Arena의 장기 작업에서 프런티어 모델 간 격차가 커진다고 밝혔다.

5개 연구소의 최상위 모델(Claude Opus 5.5, Gemini 4 Carbon, GPT-6 Astra, Muse Wonder Full, Kimi K3.1 Pro)을 비교한 결과, Arena는 장기 작업에 소요되는 시간에서 55분의 차이가 난다고 전했다. Agent Arena 1위인 Claude Opus 5.5는 모든 작업 길이에서 가장 오래 걸렸으며, 최대 1시간 51분이 소요됐다. Kimi K3.1 Pro는 가장 적은 시간을 들여 장기 작업을 56분 만에 마쳤다.

Arena는 작업이 복잡해질수록 Google DeepMind와 Xiaomi가 가장 큰 성과를 거둔다고도 밝혔다. 비용이 낮은 작업에서는 OpenAI와 Anthropic이 프런티어 모델 상위 11개 자리 중 10개를 차지하지만, 비용이 가장 많이 드는 세션 상위 5%에서는 7개를 차지하며 나머지는 Gemini 4 Argon과 Xiaomi의 MiMo-V2.6 Flash 및 Pro가 차지한다. Arena에 따르면 지난 2주간 1,000건이 넘는 세션의 비용이 100달러 이상이었다. 이 수치는 Arena 자체 자료다.