Artificial Analysis detalha o AA-Omniscience v1.1, com um conjunto de dados menor e um novo conjunto público

A Artificial Analysis publicou os detalhes do AA-Omniscience v1.1, seu benchmark de conhecimento e alucinações, atualizado em 27 de outubro como parte da v5 do Intelligence Index. A pontuação líquida do benchmark recompensa respostas corretas, penaliza as erradas e trata abstenções como neutras.

O que mudou, segundo a Artificial Analysis:

• O conjunto de dados privado caiu de 6.000 para 3.000 perguntas: questões públicas e saturadas foram removidas, erros e ambiguidades foram corrigidos e novas perguntas foram adicionadas. As perguntas continuam cobrindo 6 domínios e 42 tópicos.
• Um novo conjunto público de 300 perguntas está disponível no Hugging Face, calibrado para ter o mesmo nível de dificuldade do conjunto privado. A empresa afirma que as pontuações dos conjuntos público e privado têm correlação de 0,99 (Pearson e Spearman) na pontuação líquida.

Medições da própria empresa:

• Gemini 4 Carbon (high) lidera com pontuação líquida de 54, seguido por Claude Opus 5.5 (48) e Claude Fable 5.1 (46). Muse Spark Open (xhigh) é o modelo de pesos abertos mais bem colocado, 28 pontos atrás do Gemini 4 Carbon.
• A ordem do ranking foi amplamente preservada em relação à v1 (correlação de Spearman de 0,98), mas as pontuações ficaram, em média, cerca de 1,9 ponto mais baixas. MiniMax M3.1 Flash caiu 22 pontos (de 16 para -6) e MiMo V2.6 Pro, 13 pontos (de 8 para -5).
• Claude Fable 5.1 tem a maior precisão, de 68%, à frente dos 66% do Claude Opus 5.5. Gemini 4 Argon (high) tem a menor taxa de alucinação, de 4%; a taxa mediana de alucinação caiu 1,4 ponto.