Artificial Analysis lança um ranking para o HLE-Diamond, a versão refinada do Humanity's Last Exam

A Artificial Analysis lançou seu ranking HLE-Diamond, sua avaliação independente da versão refinada de 1.000 perguntas do Humanity's Last Exam, como parte da v5 de seu Intelligence Index. A CAIS e a Scale AI divulgaram o HLE-Diamond após um ano de revisão e aprimoramento das perguntas.

Estas são as medições da Artificial Analysis:

• O HLE-Diamond classifica cada pergunta como de raciocínio ou de conhecimento. Os modelos que pontuam acima de 50% têm resultados de 16 a 35 pontos mais altos em perguntas de raciocínio do que nas de conhecimento. GPT-6.1 Sol (max) tem a maior diferença entre os líderes, com 76% em raciocínio e 41% em conhecimento.
• As pontuações aumentam com configurações de esforço mais altas, assim como o custo. Claude Opus 5.5 ganha 26 pontos do esforço baixo (42%) ao máximo (68%), com um custo por tarefa cerca de 35 vezes maior; GPT-6 Astra ganha 19 pontos do nível baixo (45%) ao máximo (64%), com um custo por tarefa 11 vezes maior.

As pontuações, o uso de tokens e o custo por tarefa de cada modelo estão no ranking.