SemiAnalysis brengt GDPx uit, een benchmark voor agentische capaciteiten waarop het beste model 12% scoort

SemiAnalysis heeft GDPx uitgebracht, een benchmark voor agentische capaciteiten in domeinen die het als het waardevolst beschouwt, waaronder chipontwerp, cyberbeveiliging en biologie. Volgens het bedrijf scoort zelfs het beste model slechts 12%. Een bericht dat de resultaten doorgeeft, meldt dat Claude Opus 5.5 bovenaan staat met 12,0% en de aankomende Gemini 4 Carbon op 10,9%; dat is de interpretatie van degene die de resultaten doorgaf, niet SemiAnalysis' eigen tekst.

• Keuze van domeinen: SemiAnalysis stelt dat de eerste biljoen dollar aan AI-inkomsten geconcentreerd zal zijn in sectoren die geavanceerde AI-intelligentie met een hoog rendement kunnen inzetten. Daarom wijst het benchmarks af die zijn gewogen op basis van het aandeel in het bbp of een classificatie van beroepen. De benchmark omvat chipontwerp, cyberbeveiliging en biologie, en laat domeinen als overheid, vastgoed en verzekeringen buiten beschouwing.
• Veiligheidsclassificatiesystemen: SemiAnalysis zegt dat Opus 5.5 en GPT-6 Astra lagere totaalscores hebben omdat hun veiligheidsclassificatiesystemen soms aanslaan bij taken op het gebied van cyberbeveiliging, biologie en alignment. Als die drie domeinen buiten beschouwing worden gelaten, ontstaat een andere rangschikking, die volgens het bedrijf overeenkomt met zijn subjectieve indruk van de modellen. Het noemt Muse Wonder Full vandaag met een aanzienlijke voorsprong het beste beschikbare model voor cyberbeveiliging.
• Ontwikkeling: elk domein is ontwikkeld met ten minste één gespecialiseerde datapartner; SemiAnalysis voerde de laatste kwaliteitscontroles uit en verfijnde de taken. Fireworks leverde inference voor opensourcemodellen en Modal de sandboxinfrastructuur.

De aankondigingsthread had op 1 november 262 punten op X. De resultaten zijn afkomstig van SemiAnalysis zelf en zijn niet onafhankelijk geverifieerd.