SemiAnalysis merilis GDPx, benchmark kemampuan agen dengan model terbaik meraih skor 12%

SemiAnalysis telah merilis GDPx, benchmark kemampuan agen di bidang yang dianggapnya paling bernilai, termasuk desain chip, keamanan siber, dan biologi. Menurut SemiAnalysis, bahkan model terbaik hanya meraih skor 12%. Sebuah unggahan yang menyampaikan hasil tersebut melaporkan Claude Opus 5.5 berada di posisi teratas dengan skor 12,0% dan Gemini 4 Carbon yang akan datang meraih 10,9%; itu adalah interpretasi pihak yang menyampaikan hasil, bukan pernyataan SemiAnalysis sendiri.

• Pemilihan bidang: SemiAnalysis berpendapat bahwa triliun dolar pertama pendapatan AI akan terkonsentrasi di sektor-sektor yang dapat menerapkan kecerdasan terdepan dengan imbal hasil tinggi. Karena itu, mereka menolak benchmark yang pembobotannya didasarkan pada pangsa PDB atau taksonomi pekerjaan. Benchmark ini mencakup desain chip, keamanan siber, dan biologi, alih-alih bidang seperti pemerintahan, real estat, dan asuransi.
• Klasifikator keselamatan: SemiAnalysis mengatakan Opus 5.5 dan GPT-6 Astra memiliki skor keseluruhan yang lebih rendah karena klasifikator keselamatan mereka terkadang terpicu dalam tugas keamanan siber, biologi, dan penyelarasan. Jika tiga bidang tersebut dikecualikan, peringkatnya berbeda; menurut SemiAnalysis, peringkat itu sesuai dengan kesan subjektif mereka terhadap model-model tersebut. Mereka menyebut Muse Wonder Full sebagai model keamanan siber terbaik yang tersedia saat ini, dengan keunggulan yang berarti.
• Cara pembuatannya: setiap bidang dikembangkan bersama setidaknya satu mitra data khusus, sementara SemiAnalysis melakukan pemeriksaan kualitas akhir dan iterasi tugas. Fireworks menyediakan inferensi untuk model sumber terbuka, dan Modal menyediakan infrastruktur sandbox.

Utas pengumuman tersebut meraih 262 poin di X per 1 November. Hasil ini berasal dari SemiAnalysis sendiri dan belum diverifikasi secara independen.