SemiAnalysis, 최고 모델 점수가 12%인 에이전트형 벤치마크 GDPx 공개

SemiAnalysis가 칩 설계, 사이버 보안, 생물학 등 가장 가치가 높다고 보는 분야의 에이전트형 역량을 평가하는 벤치마크 GDPx를 공개했습니다. SemiAnalysis에 따르면 최고 모델도 점수는 12%에 불과합니다. 결과를 전한 한 게시물은 Claude Opus 5.5가 12.0%로 1위, 출시 예정인 Gemini 4 Carbon이 10.9%라고 보고했습니다. 이는 해당 게시물 작성자의 해석이지 SemiAnalysis의 자체 설명은 아닙니다.

• 분야 선정: SemiAnalysis는 AI 수익 최초 1조 달러가 최첨단 지능을 높은 수익률로 활용할 수 있는 분야에 집중될 것이라고 주장하며, GDP 비중이나 직업 분류 체계에 가중치를 둔 벤치마크는 채택하지 않았습니다. 정부, 부동산, 보험 같은 분야 대신 칩 설계, 사이버 보안, 생물학을 포함했습니다.
• 안전 분류기: SemiAnalysis는 Opus 5.5와 GPT-6 Astra의 안전 분류기가 사이버 보안, 생물학, 정렬 관련 작업에서 때때로 작동하기 때문에 전체 점수가 낮아진다고 설명합니다. 이 세 분야를 제외하면 순위가 달라지며, 이는 모델에 대한 주관적 인상과 일치한다고 밝혔습니다. 또 Muse Wonder Full이 현재 상당한 차이로 가장 뛰어난 사이버 보안 모델이라고 평가합니다.
• 개발 방식: 각 분야는 최소 한 곳의 전문 데이터 파트너와 함께 구성했으며, 최종 품질 점검과 작업 반복은 SemiAnalysis가 맡았습니다. Fireworks는 오픈소스 모델 추론을, Modal은 샌드박스 인프라를 제공했습니다.

11월 1일 기준 발표 스레드는 X에서 262점을 받았습니다. 결과는 SemiAnalysis가 직접 제시한 것으로, 독립적으로 검증되지는 않았습니다.