Artificial Analysis publica Intelligence Index v5, con Claude Opus 5.5 en cabeza

Artificial Analysis publicó la versión 5 de su Intelligence Index, un índice compuesto de capacidades de los modelos, con dos nuevos benchmarks y tres mejoras. Afirma que, por primera vez, la mayor parte del índice se basa en conjuntos de datos privados. También lanzó Progress Index v1, que sitúa los modelos de lenguaje publicados desde noviembre de 2022 en una misma escala de capacidades.

Lo que informa el sitio de benchmarks (mediciones propias):

• Nuevos: FrontierCode 2.0, el benchmark privado de programación de Cognition, con 132 tareas en repositorios reales de código abierto, evaluadas según si un mantenedor aceptaría el cambio; y Terminal-Bench-Science, donde GPT-6 Astra (max) lidera con un 63%, seguido de Claude Opus 5.5 (max), con un 59%.
• Mejorados: HLE-Diamond sustituye a Humanity's Last Exam (Claude Opus 5.5 (max) lidera con un 68%; GPT-6 Astra (max), con un 64%), AA-Omniscience v1.1 es una versión depurada de su prueba de conocimientos y alucinaciones, y CritPt v2 se puntúa con un subconjunto privado y difícil de 40 preguntas.
• Ponderaciones: Conocimiento aplicado al trabajo, 25%; programación, 25% (FrontierCode 2.0, 15%; Terminal-Bench 4.0, 10%); ciencia, 25%.
• Ningún modelo lidera las nueve evaluaciones. Claude Opus 5.5 lidera tres, y otros cinco modelos encabezan las seis restantes.
• Los modelos de pesos abiertos se quedan más atrás: el líder, Kimi K3.1 Pro (cuyos pesos aún no se han publicado), obtiene 46 puntos, 12 por detrás del líder, frente a una brecha de 3 puntos en v4.3. Entre los modelos cuyos pesos sí se han publicado, DeepSeek V4.1 Flash 1017 (max) y GLM-5.3 (max) obtienen la puntuación más alta, con 32.
• Coste por tarea del índice: Claude Opus 5.5 (max), $10.04; GPT-6 Astra (max), $6.24; GPT-6.1 Sol (max), $1.27. Sol queda a 4 puntos de Opus 5.5, por aproximadamente una octava parte del coste.
• El nivel de esfuerzo influye más: Opus 5.5 obtiene 35 con esfuerzo bajo y 58 con el máximo, con un coste por tarea 10 veces mayor ($0.98 frente a $10.04).
• Los modelos usan más tokens de salida por tarea que en v4.3: la mediana subió de 35k a 59k.

Una cuenta que comparte información en X informa de que GPT-6.1 Terra (max) obtiene 51 en el nuevo índice.