OpenAI अध्ययन कर रहा है कि मॉडल के प्रशिक्षण के दौरान चेन-ऑफ़-थॉट की निगरानी-क्षमता कैसे बदलती है

OpenAI ने इस बारे में शोध प्रकाशित किया है कि चेन-ऑफ़-थॉट (CoT) की निगरानी-क्षमता के दो प्रॉक्सी प्रशिक्षण के पूरे चक्र में कैसे विकसित होते हैं: no-CoT क्षमता (एक ही फ़ॉरवर्ड पास में तर्क करना; इसका अधिक होना निगरानी के लिए खराब प्रॉक्सी का संकेत है) और CoT नियंत्रणीयता (प्रॉम्प्ट मिलने पर मॉडल की अपनी CoT जोड़ने, हटाने या उसमें हेरफेर करने की क्षमता)। नीचे दिया गया विवरण शोधकर्ताओं में से एक की थ्रेड से है; पूरा लेख alignment.openai.com पर है।

• प्रीट्रेनिंग: कई मूल्यांकनों में, बेस-मॉडल की perplexity घटने के साथ no-CoT क्षमता लगातार बेहतर होती है। CoT नियंत्रणीयता भी कम perplexity से संबंधित है, हालांकि यह संबंध कमज़ोर है।
• आर्किटेक्चर: समान perplexity वाले तीन आर्किटेक्चर की तुलना में, perplexity अधिकांश no-CoT मूल्यांकनों के प्रदर्शन का पूर्वानुमान करती है। बहु-चरणीय योजना और क्रमिक गणना में कुछ आर्किटेक्चर इस अनुमान से बेहतर प्रदर्शन करते हैं; उनका प्रदर्शन अब भी लगातार बढ़ता है, लेकिन अधिक तेज़ी से।
• रीइन्फोर्समेंट लर्निंग: Astra-क्लास मॉडल में, केवल लंबाई की सीमाओं और अंतिम उत्तर के मूल्यांकन के साथ RL के दौरान CoT नियंत्रणीयता में काफ़ी वृद्धि हुई। Terra-क्लास मॉडल में, टूल तक पहुँच और टूल सुपरविज़न जोड़ने से इसमें थोड़ी वृद्धि हुई; OpenAI का कहना है कि कम perplexity की तुलना में टूल प्रक्रिया का पूरा सुपरविज़न बहुत कम मायने रखता है।
• डिस्टिलेशन: लगभग समान क्षमता लेकिन अलग-अलग नियंत्रणीयता वाले दो Astra-क्लास टीचरों के साथ, अधिक नियंत्रणीय टीचर के रोलआउट पर प्रशिक्षित छात्र अधिक नियंत्रणीय बना। इस जोड़ी के लिए OpenAI को नियंत्रणीयता और निगरानी से बच निकलने के बीच कोई सार्थक संबंध नहीं दिखा, और वह नियंत्रणीयता को प्रतिकूल निगरानी से बच निकलने का एक शोरयुक्त प्रॉक्सी कहता है।