Artificial Analysis presenta AA-Omniscience v1.1, con un conjunto de datos más pequeño y uno público nuevo

Artificial Analysis publicó los detalles de AA-Omniscience v1.1, su benchmark de conocimiento y alucinaciones, que actualizó el 27 de octubre como parte de la versión 5 de su Intelligence Index. La puntuación neta del benchmark premia las respuestas correctas, penaliza las incorrectas y considera neutrales las abstenciones.

Qué cambió, según Artificial Analysis:

• El conjunto de datos privado se reduce de 6.000 a 3.000 preguntas: se eliminan las preguntas públicas y saturadas, se corrigen errores y ambigüedades, y se añaden preguntas nuevas. Las preguntas siguen abarcando 6 dominios y 42 temas.
• Hay un nuevo conjunto público de 300 preguntas en Hugging Face, calibrado para igualar la dificultad del conjunto privado. Según la empresa, las puntuaciones públicas y privadas tienen una correlación de 0,99 (Pearson y Spearman) en la puntuación neta.

Sus propias mediciones:

• Gemini 4 Carbon (high) lidera con una puntuación neta de 54, seguido de Claude Opus 5.5 (48) y Claude Fable 5.1 (46). Muse Spark Open (xhigh) es el modelo de pesos abiertos mejor clasificado, 28 puntos por detrás de Gemini 4 Carbon.
• El orden de clasificación se mantiene en gran medida respecto a la versión 1 (correlación de Spearman de 0,98), pero las puntuaciones bajan una media de unos 1,9 puntos. MiniMax M3.1 Flash cae 22 puntos (de 16 a -6) y MiMo V2.6 Pro, 13 (de 8 a -5).
• Claude Fable 5.1 tiene la mayor precisión, con un 68 %, por delante del 66 % de Claude Opus 5.5. Gemini 4 Argon (high) registra la tasa de alucinaciones más baja, un 4 %; la mediana de esta tasa baja 1,4 puntos.