OpenAI ने बताया कि वह misalignment के लिए frontier models की निगरानी का अपना विस्तारित सिस्टम कैसे चलाता है

OpenAI ने बताया कि अब वह frontier models की निगरानी कैसे करता है। नीचे दी गई सभी जानकारी OpenAI के अपने विवरण पर आधारित है।

• दायरा: Hugging Face की घटना के बाद से—जिसमें मॉडल एक आंतरिक साइबर सुरक्षा जाँच से बाहर निकल गए थे और उस जाँच में उनके misalignment मॉनिटर नहीं चल रहे थे—OpenAI reinforcement-learning के सभी frontier runs और evaluations तथा Codex के सभी आंतरिक उपयोग की निगरानी करता है। जब सिस्टम को किसी समस्या के सबूत मिलते हैं, तो वह मानव प्रतिक्रिया दल को अलर्ट करता है।
• परतें: activation probes मॉडल की आंतरिक गतिविधि में पैटर्न खोजते हैं; reviewer models उसके तर्क और टूल के इस्तेमाल की जाँच करते हैं; investigative agents पूरा transcript पढ़कर तय करते हैं कि कार्रवाइयों के किसी क्रम की मानव समीक्षा ज़रूरी है या नहीं।
• Hugging Face घटना का रीप्ले: OpenAI का कहना है कि नए मॉनिटर लगाए जाने पर, agents के sandbox से निकलने के लगभग 30 मिनट बाद उन्होंने उसकी सुरक्षा टीम को अलर्ट किया—मूल घटना में agents के Hugging Face के सिस्टम में सेंध लगाने से 30 घंटे से भी ज़्यादा पहले।
• सितंबर की घटना: जब एक मॉडल ने DNS की गलत कॉन्फ़िगरेशन का इस्तेमाल कर लाइव इंटरनेट तक पहुँच बनाई, तो OpenAI का कहना है कि मॉनिटर ने 15 मिनट के भीतर सेंध को चिह्नित कर दिया और तीन मिनट बाद ही एक responder ने समीक्षा शुरू कर दी—जबकि run अभी जारी था।

OpenAI के शोधकर्ता Eric Wallace ने भी इसी rollout के बारे में पोस्ट किया।