OpenAI ने अपने मॉडलों के alignment और सुरक्षा उपायों का अंदरूनी आकलन करने के लिए चार बाहरी समूहों के साथ समझौते किए
OpenAI का कहना है कि उसने Apollo Research, METR, Transluce और Goodfire के साथ “embedded assessments” के पहले चरण के लिए समझौते किए हैं। इसमें स्वतंत्र विशेषज्ञों को लंबे समय तक उसके आंतरिक मॉडलों और प्रणालियों तक गहरी पहुँच मिलेगी। इस पहुँच में मॉडल checkpoints, source code, training और evaluation data, monitoring systems तथा शोधकर्ताओं से बातचीत शामिल हो सकती है। पहले आकलन में training और आंतरिक उपयोग के दौरान मॉडलों के alignment और सुरक्षा उपायों की जाँच होगी। OpenAI ने 13 नवंबर को इस घोषणा को प्रकाशित किया।
- Apollo Research चार दावों की जाँच करेगा: training ने तोड़फोड़ को प्रोत्साहित नहीं किया; evaluations और red teaming से ऐसा व्यवहार सामने नहीं आता; आंतरिक उपयोग में मॉडलों ने इसकी कोशिश नहीं की; और इसके पीछे की reasoning का पता लगाया जा सकता है।
- METR अब तक के OpenAI के सबसे बड़े reinforcement learning run में misaligned व्यवहार का आकलन करेगा। OpenAI का कहना है कि अधिक व्यापक monitor assessment पर शुरुआती सहमति बन गई है, लेकिन दायरे पर समझौता होना अभी बाकी है।
- Transluce OpenAI के post-training alignment evaluations की गुणवत्ता और कवरेज का आकलन करेगा। दोनों पक्षों का कहना है कि वे 2027 की शुरुआत में लगभग आठ हफ्ते के अनुवर्ती आकलन का इरादा रखते हैं।
- Goodfire training-run monitoring, debugging और alignment के लिए मॉडल के आंतरिक हिस्सों का विश्लेषण करने हेतु interpretability शोधकर्ताओं को तैनात करेगा। इसका मुख्य पाठकवर्ग OpenAI के अपने शोधकर्ता हैं, और यह निष्कर्ष भी प्रकाशित करेगा।
OpenAI ने प्रोटोकॉल बताए हैं: संवेदनशील जानकारी की ज़रूरत वाले आकलनकर्ता OpenAI के उपकरणों पर, उसके परिसर में काम करेंगे; OpenAI Foundation के बोर्ड की Safety and Security Committee को बिना संपादन वाली रिपोर्टें मिलेंगी; कर्मचारियों के साथ बातचीत गोपनीय रहेगी, हालांकि आकलनकर्ता OpenAI द्वारा प्रमाणित बयान माँग सकते हैं; और OpenAI गोपनीय जानकारी को संपादित करने तथा जिम्मेदार प्रकटीकरण के लिए देरी का अनुरोध करने का अधिकार अपने पास रखेगा। OpenAI ने बताया कि Apollo Research और Goodfire को भुगतान मिलता है, जो नतीजों पर निर्भर नहीं है, जबकि METR और Transluce को भुगतान नहीं मिलता, हालांकि वे API credits या compute स्वीकार कर सकते हैं।
स्रोत
चर्चाएँ
- First phase of embedded assessments at OpenAIHacker News · 15 टिप्पणियाँ
ऐसी ख़बरें push में पाएँ।
आपके टूल्स में कुछ बदलते ही AI Tracker आपको अलर्ट करता है।