Arena: bij langlopende Agent Arena-taken werkt Claude Opus 5.5 het langst en Kimi K3.1 Pro het kortst

Arena, de uitgever van het leaderboard, zegt dat langlopende taken in Agent Arena, die honderden beurten duren (een codebase overzetten naar Rust, een document over een beleggingsstrategie controleren, een wiskundeboek schrijven), de verschillen tussen frontiermodellen vergroten.

Bij een vergelijking van het topmodel van vijf labs (Claude Opus 5.5, Gemini 4 Carbon, GPT-6 Astra, Muse Wonder Full en Kimi K3.1 Pro) meldt Arena een verschil van 55 minuten in de tijd die aan langlopende taken wordt besteed. Claude Opus 5.5, nummer 1 in Agent Arena, doet er bij elke taakduur het langst over, tot 1 uur en 51 minuten; Kimi K3.1 Pro doet er het kortst over: 56 minuten voor langlopende taken.

Arena zegt ook dat Google DeepMind en Xiaomi het meest winnen naarmate taken complexer worden. Bij goedkopere taken bezetten OpenAI en Anthropic 10 van de 11 topposities; bij de duurste 5% van de sessies zijn dat er 7, terwijl Gemini 4 Argon en Xiaomi's MiMo-V2.6 Flash en Pro de overige posities innemen. Arena voegt eraan toe dat meer dan 1.000 sessies in de afgelopen twee weken $100 of meer kostten. De cijfers zijn afkomstig van Arena zelf.