Artificial Analysis lanza Coding Agent Index v2.0; Claude Code con Opus 5.5 lidera con 61,7
Artificial Analysis lanzó la versión 2.0 de su Coding Agent Index, que puntúa los modelos junto con sus entornos de agente en 290 tareas de ingeniería de software, uso de terminal y preguntas y respuestas sobre repositorios, con la misma ponderación. Las puntuaciones son propias de Artificial Analysis y no se han verificado de forma independiente.
Cambios desde la versión 1.5:
- FrontierCode v1.1 de Cognition reemplaza a DeepSWE v1.1. Incluye 100 tareas en repositorios reales de código abierto con un conjunto de pruebas privado; se evalúa si un responsable del mantenimiento aceptaría integrar el cambio. Un intento marcado por acceder al material de soluciones obtiene cero.
- SWE-Atlas-QnA-AA revisa la evaluación de las 124 tareas de preguntas y respuestas sobre repositorios de Scale AI: se reformularon 127 de los 1.306 criterios de la rúbrica y ahora el juez es GPT-6 Luna (xhigh), con cinco votos por criterio.
- Terminal-Bench 4.0 no cambia.
- Las puntuaciones bajan en casi todas las configuraciones medidas en ambas versiones: la media cae de 54,8 a 47,4, principalmente por FrontierCode (promedio de 45,1 %, frente al 65,6 % de DeepSWE).
Resultados:
- Índice: Claude Code con Claude Opus 5.5 (max) obtiene 61,7, por delante de Claude Code con Claude Sonnet 5.5 (59,3), Muse Code con Muse Wonder Full (58,9) y Claude Code con Claude Fable 5.1 (57,6).
- FrontierCode: Opus 5.5 obtiene un 56,0 %, seguido de Codex con DeepSeek V4.1 Flash (52,6 %), Codex con GPT-6.1 Sol (49,4 %) y Codex con GPT-6 Astra (49,3 %). 15 de las 24 configuraciones obtienen entre el 43 % y el 49 %.
- SWE-Atlas-QnA-AA: Muse Code con Muse Wonder Full lidera con un 68,8 %, seguido de Claude Code con Fable 5.1 (66,4 %) y Opus 5.5 (65,9 %).
- Costo por tarea (costos de API de pago por token): Codex con DeepSeek V4.1 Flash obtiene 47,3 por $0.39; Codex con GPT-6.1 Sol, 54,1 por $1.50; Codex con GPT-6 Astra, 54,7 por $7.04; y Claude Code con Opus 5.5, 61,7 por $11.42.
Fuentes
Debates
Recibe noticias como esta por push.
AI Tracker te avisa cuando algo cambia en las herramientas que usas.