SemiAnalysis publie GDPx, un benchmark agentique où le meilleur modèle obtient 12 %

SemiAnalysis a publié GDPx, un benchmark des capacités agentiques dans les domaines qu’elle juge les plus précieux, notamment la conception de puces, la cybersécurité et la biologie. Selon elle, même le meilleur modèle n’obtient que 12 %. Un post relayant les résultats place Claude Opus 5.5 en tête avec 12,0 %, devant le prochain Gemini 4 Carbon à 10,9 % ; il s’agit de l’interprétation de l’auteur du post, et non du texte de SemiAnalysis.

• Choix des domaines : SemiAnalysis estime que le premier billion de dollars de revenus de l’IA se concentrera dans les secteurs capables de déployer une intelligence de pointe avec un rendement élevé. Elle rejette donc les benchmarks pondérés selon la part du PIB ou une taxonomie des professions. Elle inclut la conception de puces, la cybersécurité et la biologie, plutôt que des domaines comme l’administration publique, l’immobilier et l’assurance.
• Classificateurs de sécurité : SemiAnalysis indique qu’Opus 5.5 et GPT-6 Astra obtiennent des scores globaux plus faibles, car leurs classificateurs de sécurité se déclenchent parfois dans les tâches de cybersécurité, de biologie et d’alignement. En excluant ces trois domaines, le classement est différent et, selon elle, correspond à son impression subjective des modèles. Elle qualifie Muse Wonder Full de meilleur modèle de cybersécurité disponible aujourd’hui, avec une avance notable.
• Méthode de conception : chaque domaine a été élaboré avec au moins un partenaire spécialisé dans les données, SemiAnalysis se chargeant des contrôles qualité finaux et de l’itération sur les tâches. Fireworks a fourni l’inférence pour les modèles open source, et Modal, l’infrastructure de sandbox.

Au 1er novembre, le fil d’annonce comptait 262 points sur X. Les résultats sont ceux de SemiAnalysis et n’ont pas été vérifiés de manière indépendante.