SemiAnalysis publikuje GDPx, benchmark agentowych możliwości, w którym najlepszy model uzyskuje 12%

SemiAnalysis opublikowało GDPx, benchmark agentowych możliwości w dziedzinach, które uważa za najbardziej wartościowe, takich jak projektowanie układów scalonych, cyberbezpieczeństwo i biologia. Według firmy nawet najlepszy model uzyskuje zaledwie 12%. W poście przekazującym wyniki podano, że na czele jest Claude Opus 5.5 z wynikiem 12,0%, a zapowiadany Gemini 4 Carbon uzyskał 10,9%; to interpretacja autora tego posta, a nie własny tekst SemiAnalysis.

• Wybór dziedzin: SemiAnalysis twierdzi, że pierwszy bilion dolarów przychodów z AI skupi się w sektorach, które mogą wdrażać najnowocześniejszą inteligencję z wysokim zwrotem, dlatego odrzuca benchmarki ważone udziałem w PKB lub klasyfikacją zawodów. Uwzględnia projektowanie układów scalonych, cyberbezpieczeństwo i biologię, a pomija takie dziedziny jak administracja publiczna, nieruchomości i ubezpieczenia.
• Klasyfikatory bezpieczeństwa: SemiAnalysis twierdzi, że Opus 5.5 i GPT-6 Astra uzyskują niższe wyniki ogółem, ponieważ ich klasyfikatory bezpieczeństwa czasami uruchamiają się w zadaniach z zakresu cyberbezpieczeństwa, biologii i alignmentu. Po wyłączeniu tych trzech dziedzin ranking wygląda inaczej i — jak twierdzi firma — odpowiada jej subiektywnemu wrażeniu dotyczącym modeli. Nazywa Muse Wonder Full najlepszym obecnie dostępnym modelem do cyberbezpieczeństwa, i to ze znaczną przewagą.
• Jak powstał benchmark: każda dziedzina została opracowana z udziałem co najmniej jednego wyspecjalizowanego partnera dostarczającego dane, a SemiAnalysis przeprowadziło końcową kontrolę jakości i iteracyjnie dopracowywało zadania. Fireworks zapewniło inferencję dla modeli open source, a Modal — infrastrukturę środowiska testowego.

Do 1 listopada wątek z ogłoszeniem zdobył 262 punkty na X, a wyniki pochodzą od SemiAnalysis i nie zostały niezależnie zweryfikowane.