Arena : sur les tâches de longue durée d’Agent Arena, Claude Opus 5.5 travaille le plus longtemps et Kimi K3.1 Pro le moins longtemps
Arena, l’éditeur du classement, indique que les tâches de longue durée de son Agent Arena — qui s’étendent sur des centaines de tours (porter une base de code vers Rust, auditer un document sur une stratégie d’investissement, rédiger un manuel de mathématiques) — accentuent les écarts entre les modèles de pointe.
En comparant le meilleur modèle de cinq laboratoires (Claude Opus 5.5, Gemini 4 Carbon, GPT-6 Astra, Muse Wonder Full et Kimi K3.1 Pro), Arena fait état d’un écart de 55 minutes de temps passé sur les tâches de longue durée. Claude Opus 5.5, numéro 1 d’Agent Arena, prend le plus de temps pour toutes les durées de tâche, jusqu’à 1 heure et 51 minutes ; Kimi K3.1 Pro en prend le moins, soit 56 minutes pour les tâches de longue durée.
Arena indique également que Google DeepMind et Xiaomi progressent le plus à mesure que les tâches se complexifient. Pour les tâches moins coûteuses, OpenAI et Anthropic occupent 10 des 11 premières places parmi les modèles de pointe ; parmi les 5 % de sessions les plus coûteuses, ils en occupent 7, tandis que Gemini 4 Argon et les modèles MiMo-V2.6 Flash et Pro de Xiaomi prennent les autres places. Arena ajoute que plus de 1 000 sessions au cours des deux dernières semaines ont coûté 100 $ ou plus. Ces chiffres proviennent d’Arena.
Sources
Recevez ce genre d'actus en notification.
AI Tracker vous prévient dès que quelque chose change pour les outils que vous utilisez.