SemiAnalysis lancia GDPx, un benchmark agentico in cui il modello migliore ottiene il 12%

SemiAnalysis ha lanciato GDPx, un benchmark delle capacità agentiche nei settori che ritiene più preziosi, tra cui progettazione di chip, cybersicurezza e biologia. Afferma che persino il modello migliore ottiene appena il 12%. Un post che riporta i risultati indica Claude Opus 5.5 in testa con il 12,0% e il prossimo Gemini 4 Carbon al 10,9%; si tratta dell’interpretazione di chi ha rilanciato i risultati, non del testo originale di SemiAnalysis.

• Scelta dei settori: SemiAnalysis sostiene che il primo trilione di dollari di ricavi dell’IA si concentrerà nei settori in grado di impiegare l’intelligenza di frontiera con rendimenti elevati, perciò rifiuta i benchmark ponderati in base alla quota di PIL o a una tassonomia delle professioni. Include progettazione di chip, cybersicurezza e biologia, anziché settori come pubblica amministrazione, immobiliare e assicurazioni.
• Classificatori di sicurezza: SemiAnalysis afferma che Opus 5.5 e GPT-6 Astra hanno punteggi complessivi inferiori perché i loro classificatori di sicurezza si attivano talvolta nei compiti di cybersicurezza, biologia e allineamento. Escludendo questi tre settori si ottiene una classifica diversa, che secondo l’azienda corrisponde alla sua impressione soggettiva dei modelli. Definisce Muse Wonder Full il miglior modello di cybersicurezza attualmente disponibile, con un margine significativo.
• Come è stato realizzato: ogni settore è stato sviluppato con almeno un partner specializzato nella raccolta di dati; SemiAnalysis si è occupata dei controlli finali di qualità e dell’iterazione dei compiti. Fireworks ha fornito l’inferenza per i modelli open source e Modal l’infrastruttura sandbox.

Al 1° novembre, il thread dell’annuncio aveva totalizzato 262 punti su X; i risultati sono di SemiAnalysis e non sono stati verificati in modo indipendente.