Anthropic ने उभरती हुई विसंगति के लिए प्रशिक्षण-डेटा मॉनिटरों की रेड-टीमिंग हेतु Claude के हज़ारों एजेंट तैनात किए

Anthropic ने सूक्ष्म उभरती हुई विसंगति के लिए रेड-टीमिंग को स्वचालित करने पर शोध प्रकाशित किया। उसका कहना है कि रेड-टीमिंग मॉडल सुरक्षा परीक्षण के लिए अहम है, लेकिन शोधकर्ताओं के समय की कमी इसे सीमित करती है। नीचे दी गई सारी जानकारी Anthropic के अपने विवरण पर आधारित है—उसकी पोस्ट और Alignment Science Blog में लिखे लेख पर।

• तरीका: उसने Claude के हज़ारों एजेंटों को ऐसा प्रशिक्षण डेटा लिखने का काम दिया जो प्रशिक्षण-डेटा मॉनिटर से बच निकले।
• एजेंटों ने क्या तैयार किया: ऐसा डेटा जो मॉनिटर को हानिरहित दिखता था—जैसे किसी अनुभवी पहलवान का नए पहलवान को मार्गदर्शन देना या पेशेवर मधुमक्खी-पालन पर सवाल-जवाब—लेकिन Anthropic के मुताबिक, वास्तव में उसमें विसंगत व्यवहार सिखाया गया था।
• उपयोग: Anthropic का कहना है कि ऐसे उदाहरण भविष्य के प्रशिक्षण-डेटा मॉनिटरों को सीधे बेहतर बना सकते हैं। वह इस काम को पहला कदम बताती है और कहती है कि बेहतर मॉडल और अधिक कंप्यूट के साथ भविष्य की रेड-टीमिंग को और भी बेहतर बनाया जा सकता है।