SemiAnalysis lança GDPx, um benchmark agêntico em que o melhor modelo alcança 12%

A SemiAnalysis lançou o GDPx, um benchmark de capacidades agênticas em áreas que considera de maior valor, incluindo design de chips, cibersegurança e biologia. Segundo a empresa, até o melhor modelo alcança apenas 12%. Uma publicação que repercute os resultados aponta o Claude Opus 5.5 na liderança, com 12,0%, e o futuro Gemini 4 Carbon com 10,9%; essa é a interpretação de quem repercutiu os resultados, não o texto da própria SemiAnalysis.

• Escolha das áreas: a SemiAnalysis argumenta que o primeiro trilhão de dólares em receita de IA se concentrará em setores capazes de aplicar inteligência de ponta com alto retorno; por isso, rejeita benchmarks ponderados pela participação no PIB ou por uma classificação de ocupações. O benchmark inclui design de chips, cibersegurança e biologia, em vez de áreas como governo, mercado imobiliário e seguros.
• Classificadores de segurança: a SemiAnalysis afirma que Opus 5.5 e GPT-6 Astra têm pontuações gerais mais baixas porque seus classificadores de segurança às vezes são acionados em tarefas de cibersegurança, biologia e alinhamento. Excluir essas três áreas resulta em uma classificação diferente, que, segundo a empresa, corresponde à sua impressão subjetiva dos modelos. A empresa considera o Muse Wonder Full o melhor modelo de cibersegurança disponível atualmente, por uma margem significativa.
• Como foi desenvolvido: cada área foi elaborada com pelo menos um parceiro especializado em dados, enquanto a SemiAnalysis fez as verificações finais de qualidade e iterou nas tarefas. A Fireworks forneceu inferência para modelos de código aberto, e a Modal, a infraestrutura de sandbox.

A thread de anúncio tinha 262 pontos no X até 1º de novembro, e os resultados são da própria SemiAnalysis, sem verificação independente.