SemiAnalysis ra mắt GDPx, benchmark tác tử trong đó mô hình tốt nhất đạt 12%

SemiAnalysis đã ra mắt GDPx, một benchmark đánh giá năng lực tác tử trong các lĩnh vực mà công ty cho là có giá trị cao nhất, gồm thiết kế chip, an ninh mạng và sinh học. Công ty cho biết ngay cả mô hình tốt nhất cũng chỉ đạt 12%. Một bài đăng thuật lại kết quả xếp Claude Opus 5.5 đứng đầu với 12,0% và Gemini 4 Carbon sắp ra mắt ở mức 10,9%; đây là cách người đăng diễn giải kết quả, không phải nội dung do chính SemiAnalysis công bố.

• Lựa chọn lĩnh vực: SemiAnalysis lập luận rằng nghìn tỷ USD doanh thu AI đầu tiên sẽ tập trung ở những ngành có thể triển khai trí tuệ tiên tiến với lợi nhuận cao, nên công ty không dùng các benchmark phân bổ trọng số theo tỷ trọng GDP hay phân loại nghề nghiệp. Benchmark bao gồm thiết kế chip, an ninh mạng và sinh học, thay vì các lĩnh vực như chính phủ, bất động sản và bảo hiểm.
• Bộ phân loại an toàn: SemiAnalysis cho biết Opus 5.5 và GPT-6 Astra có điểm tổng thể thấp hơn vì bộ phân loại an toàn đôi khi kích hoạt trong các nhiệm vụ về an ninh mạng, sinh học và alignment. Loại ba lĩnh vực này ra sẽ cho một bảng xếp hạng khác; theo SemiAnalysis, bảng đó phù hợp với đánh giá chủ quan của họ về các mô hình. Công ty nhận định Muse Wonder Full hiện là mô hình an ninh mạng tốt nhất hiện có, với khoảng cách đáng kể.
• Cách xây dựng: mỗi lĩnh vực được phát triển với ít nhất một đối tác dữ liệu chuyên môn; SemiAnalysis thực hiện các bước kiểm tra chất lượng cuối cùng và lặp lại việc thiết kế nhiệm vụ. Fireworks cung cấp suy luận cho các mô hình mã nguồn mở, còn Modal cung cấp hạ tầng sandbox.

Đến ngày 1 tháng 11, chuỗi bài đăng thông báo đã nhận được 262 điểm trên X; kết quả là do chính SemiAnalysis công bố, chưa được xác minh độc lập.