SemiAnalysis выпустила GDPx — бенчмарк агентных возможностей, в котором лучшая модель набрала 12%

SemiAnalysis выпустила GDPx — бенчмарк агентных возможностей в областях, которые компания считает наиболее ценными, включая разработку микросхем, кибербезопасность и биологию. По её словам, даже лучшая модель набирает лишь 12%. В публикации, пересказывающей результаты, на первом месте указана Claude Opus 5.5 с результатом 12,0%, а за ней — будущая Gemini 4 Carbon с 10,9%; это интерпретация автора пересказа, а не формулировка самой SemiAnalysis.

• Выбор областей: SemiAnalysis утверждает, что первый триллион долларов доходов от ИИ будет сосредоточен в отраслях, где передовой интеллект можно применять с высокой отдачей, поэтому компания не использует бенчмарки, взвешенные по доле в ВВП или классификации профессий. В бенчмарк вошли разработка микросхем, кибербезопасность и биология, но не такие области, как государственное управление, недвижимость и страхование.
• Фильтры безопасности: SemiAnalysis сообщает, что общие результаты Opus 5.5 и GPT-6 Astra ниже, поскольку их фильтры безопасности иногда срабатывают при выполнении заданий по кибербезопасности, биологии и выравниванию. Без этих трёх областей рейтинг меняется и, по словам компании, соответствует её субъективному впечатлению от моделей. Muse Wonder Full она называет лучшей доступной сегодня моделью для кибербезопасности с заметным отрывом.
• Как создавался бенчмарк: для каждой области привлекли как минимум одного специализированного партнёра по данным, а SemiAnalysis проводила финальные проверки качества и дорабатывала задания. Fireworks обеспечила инференс для моделей с открытым исходным кодом, а Modal — инфраструктуру песочницы.

К 1 ноября у анонсирующей публикации было 262 балла на X. Результаты принадлежат самой SemiAnalysis и не прошли независимую проверку.