SemiAnalysis ने GDPx जारी किया, यह एक एजेंटिक बेंचमार्क है जिसमें सर्वश्रेष्ठ मॉडल का स्कोर 12% है
SemiAnalysis ने GDPx जारी किया है—यह उन क्षेत्रों में एजेंटिक क्षमताओं का बेंचमार्क है जिन्हें वह सबसे अधिक मूल्यवान मानता है, जिनमें चिप डिज़ाइन, साइबर और जीवविज्ञान शामिल हैं। उसका कहना है कि सर्वश्रेष्ठ मॉडल का स्कोर भी केवल 12% है। नतीजों को साझा करने वाली एक पोस्ट में Claude Opus 5.5 को 12.0% के साथ शीर्ष पर और आगामी Gemini 4 Carbon को 10.9% पर बताया गया है; यह पोस्ट साझा करने वाले की व्याख्या है, SemiAnalysis का अपना कथन नहीं।
- क्षेत्रों का चयन: SemiAnalysis का तर्क है कि AI से आने वाला पहला एक ट्रिलियन डॉलर का राजस्व उन क्षेत्रों में केंद्रित होगा जहाँ अत्याधुनिक बुद्धिमत्ता को उच्च प्रतिफल के साथ तैनात किया जा सकता है। इसलिए वह GDP में हिस्सेदारी या पेशों के वर्गीकरण पर आधारित बेंचमार्कों को खारिज करता है। इसमें सरकारी क्षेत्र, रियल एस्टेट और बीमा जैसे क्षेत्रों के बजाय चिप डिज़ाइन, साइबर और जैव-विज्ञान शामिल हैं।
- सुरक्षा क्लासिफ़ायर: SemiAnalysis का कहना है कि Opus 5.5 और GPT-6 Astra के कुल स्कोर कम हैं, क्योंकि साइबर, जीवविज्ञान और अलाइनमेंट कार्यों में उनके सुरक्षा क्लासिफ़ायर कभी-कभी सक्रिय हो जाते हैं। इन तीन क्षेत्रों को हटाने पर रैंकिंग बदल जाती है; उसके मुताबिक यह मॉडलों को लेकर उसकी व्यक्तिपरक धारणा से मेल खाती है। वह Muse Wonder Full को आज उपलब्ध सर्वश्रेष्ठ साइबर मॉडल बताता है, और उसका अंतर उल्लेखनीय है।
- इसे कैसे बनाया गया: हर क्षेत्र के लिए कम-से-कम एक विशेषज्ञ डेटा साझेदार के साथ काम किया गया; अंतिम गुणवत्ता जाँच और कार्यों में बदलाव SemiAnalysis ने किए। Fireworks ने ओपन-सोर्स मॉडलों के लिए इनफ़रेंस और Modal ने सैंडबॉक्स इन्फ्रास्ट्रक्चर मुहैया कराया।
1 नवंबर तक X पर घोषणा वाले थ्रेड को 262 पॉइंट मिले थे। ये नतीजे SemiAnalysis के अपने हैं, इनकी स्वतंत्र रूप से पुष्टि नहीं हुई है।
स्रोत
चर्चाएँ
- Official apology to Google from me, they cooked with Carbon.X · 36 टिप्पणियाँ
ऐसी ख़बरें push में पाएँ।
आपके टूल्स में कुछ बदलते ही AI Tracker आपको अलर्ट करता है।