SemiAnalysis veröffentlicht GDPx, einen Benchmark für agentische Fähigkeiten, bei dem das beste Modell 12 % erreicht

SemiAnalysis hat GDPx veröffentlicht, einen Benchmark für agentische Fähigkeiten in Bereichen, die das Unternehmen für besonders wertvoll hält, darunter Chipdesign, Cybersicherheit und Biologie. Laut SemiAnalysis erreicht selbst das beste Modell lediglich 12 %. Ein Beitrag, der die Ergebnisse weitergibt, sieht Claude Opus 5.5 mit 12,0 % an der Spitze und das kommende Gemini 4 Carbon bei 10,9 %; das ist die Interpretation des weitergebenden Beitrags, nicht der Wortlaut von SemiAnalysis.

• Auswahl der Bereiche: SemiAnalysis argumentiert, dass sich die ersten Billionen Dollar an KI-Umsätzen auf Branchen konzentrieren werden, in denen sich Spitzenintelligenz mit hoher Rendite einsetzen lässt. Daher lehnt das Unternehmen Benchmarks ab, die nach BIP-Anteil oder Berufskategorien gewichtet sind. Es berücksichtigt Chipdesign, Cybersicherheit und Biologie statt Bereichen wie Verwaltung, Immobilien und Versicherungen.
• Sicherheitsklassifikatoren: Laut SemiAnalysis erzielen Opus 5.5 und GPT-6 Astra insgesamt niedrigere Werte, weil ihre Sicherheitsklassifikatoren bei Aufgaben in den Bereichen Cybersicherheit, Biologie und Alignment mitunter auslösen. Werden diese drei Bereiche ausgeschlossen, ergibt sich eine andere Rangfolge, die nach Einschätzung des Unternehmens seinem subjektiven Eindruck von den Modellen entspricht. SemiAnalysis bezeichnet Muse Wonder Full als derzeit mit deutlichem Abstand bestes verfügbares Modell für Cybersicherheit.
• Entwicklung: Für jeden Bereich arbeitete SemiAnalysis mit mindestens einem spezialisierten Datenpartner zusammen und übernahm die abschließenden Qualitätsprüfungen sowie die Iteration der Aufgaben. Fireworks stellte Inferenz für Open-Source-Modelle bereit, Modal die Sandbox-Infrastruktur.

Der Ankündigungsthread hatte bis zum 1. November 262 Punkte auf X. Die Ergebnisse stammen von SemiAnalysis selbst und wurden nicht unabhängig überprüft.