Artificial Analysis détaille AA-Omniscience v1.1, avec un jeu de données réduit et un nouveau jeu public

Artificial Analysis a publié les détails d’AA-Omniscience v1.1, son benchmark de connaissances et d’hallucinations, mis à jour le 27 octobre dans le cadre de la v5 de son Intelligence Index. Le score net récompense les réponses correctes, pénalise les réponses erronées et considère les abstentions comme neutres.

Les changements, selon Artificial Analysis :

• Le jeu de données privé passe de 6 000 à 3 000 questions : les questions publiques et saturées sont supprimées, les erreurs et ambiguïtés sont corrigées et de nouvelles questions sont ajoutées. Les questions couvrent toujours 6 domaines et 42 sujets.
• Un nouveau jeu public de 300 questions est disponible sur Hugging Face ; sa difficulté est calibrée sur celle du jeu privé. L’entreprise indique que les scores public et privé sont corrélés à 0,99 (Pearson et Spearman) pour le score net.

Ses propres mesures :

• Gemini 4 Carbon (high) arrive en tête avec un score net de 54, suivi de Claude Opus 5.5 (48) et Claude Fable 5.1 (46). Muse Spark Open (xhigh) est le meilleur modèle à poids ouverts, avec 28 points de moins que Gemini 4 Carbon.
• Le classement est globalement conservé par rapport à la v1 (corrélation de Spearman de 0,98), mais les scores sont en moyenne inférieurs d’environ 1,9 point. MiniMax M3.1 Flash perd 22 points (de 16 à -6) et MiMo V2.6 Pro, 13 points (de 8 à -5).
• Claude Fable 5.1 affiche la meilleure précision, à 68 %, devant Claude Opus 5.5 à 66 %. Gemini 4 Argon (high) présente le taux d’hallucination le plus bas, à 4 % ; le taux médian d’hallucination baisse de 1,4 point.