Artificial Analysis lança o Intelligence Index v5, com Claude Opus 5.5 na liderança

A Artificial Analysis publicou a versão 5 do Intelligence Index, um índice composto de capacidades de modelos, com dois novos benchmarks e três atualizações. Segundo a empresa, pela primeira vez a maior parte do índice se baseia em conjuntos de dados privados. Também lançou o Progress Index v1, que coloca modelos de linguagem lançados desde novembro de 2022 em uma única escala de capacidade.

O que o site de benchmarks informa (com base em suas próprias medições):

• Novos: FrontierCode 2.0, benchmark privado de programação da Cognition com 132 tarefas em repositórios reais de código aberto, avaliadas pelo critério de um mantenedor aceitar ou não a alteração; e Terminal-Bench-Science, em que GPT-6 Astra (max) lidera com 63%, seguido por Claude Opus 5.5 (max), com 59%.
• Atualizados: HLE-Diamond substitui Humanity's Last Exam (Claude Opus 5.5 (max) lidera com 68%, e GPT-6 Astra (max) fica com 64%); AA-Omniscience v1.1 é uma versão revisada do teste de conhecimento e alucinação; e CritPt v2 é avaliado com base em um subconjunto privado de 40 questões difíceis.
• Pesos: Conhecimento para o trabalho 25%, Programação 25% (FrontierCode 2.0 15%, Terminal-Bench 4.0 10%), Ciência 25%.
• Nenhum modelo lidera as nove avaliações. Claude Opus 5.5 lidera três, e outros cinco modelos lideram as seis restantes.
• Modelos de pesos abertos ficam ainda mais para trás: o líder, Kimi K3.1 Pro (pesos ainda não lançados), faz 46 pontos, 12 pontos atrás do primeiro lugar, ante uma diferença de 3 pontos na v4.3. Entre os modelos com pesos lançados, DeepSeek V4.1 Flash 1017 (max) e GLM-5.3 (max) têm a maior pontuação, com 32.
• Custo por tarefa do índice: Claude Opus 5.5 (max), US$ 10.04; GPT-6 Astra (max), US$ 6.24; GPT-6.1 Sol (max), US$ 1.27. Sol fica a até 4 pontos de Opus 5.5 por cerca de um oitavo do custo.
• O nível de esforço faz mais diferença: Opus 5.5 marca 35 com esforço baixo e 58 no máximo, com custo por tarefa 10 vezes maior (US$ 0.98 contra US$ 10.04).
• Os modelos usam mais tokens de saída por tarefa do que na v4.3: a mediana subiu de 35 mil para 59 mil.

Uma publicação repercutida no X informa que GPT-6.1 Terra (max) marcou 51 no novo índice.