Anthropic ने सुरक्षा मूल्यांकन डिज़ाइन करने, चलाने और रिपोर्ट करने के लिए 10 सिफ़ारिशें प्रकाशित कीं

Anthropic ने अपने Engineering Blog पर एक पोस्ट प्रकाशित की, जिसमें सुरक्षा मूल्यांकन डिज़ाइन करने, चलाने और रिपोर्ट करने के तरीके पर 10 सिफ़ारिशें दी गई हैं। इसके अनुसार, ऐसे मूल्यांकन यह समझने के लिए अहम हैं कि कोई मॉडल तैनाती के लिए तैयार है या नहीं, उसके लिए कौन-से सुरक्षा उपाय बनाने चाहिए और प्रशिक्षण व अनुसंधान का ध्यान कहाँ केंद्रित करना चाहिए।

Anthropic के अपने अनुभव और उसके system cards पर आधारित यह पोस्ट, मनोविज्ञान में प्रतिकृति-संकट के बाद हुए सुधारों—जैसे preregistration—से सीख लेती है। इसकी कुछ सिफ़ारिशें:

• टीम में विषय-वस्तु और तरीकों—दोनों के विशेषज्ञ शामिल करें, और मूल्यांकन इंटरनेट की पहुँच के बिना, सैंडबॉक्स में तथा रीयल-टाइम निगरानी के साथ चलाएँ। Anthropic का कहना है कि अपने अनुभवों के बाद उसने मूल्यांकन परिवेशों को अधिक सुरक्षित बनाया और उन कई मूल्यांकनों को रोक दिया जो मॉडलों को इंटरनेट की पहुँच देते हैं।
• वही मापें जिसे मापने का आपका इरादा है। मना करने की दर अक्सर सही पैमाना नहीं होती: आत्म-हानि से जुड़ी बातचीत के लिए Anthropic ने "उचित प्रतिक्रिया दर" बताई, जिसका आकलन विशेषज्ञ मानदंडों के आधार पर पूरी, कई दौर वाली बातचीत में किया जाता है। ज़रूरत से ज़्यादा मना करने का पता लगाने के लिए वह उसी क्षेत्र के हानिकारक और अहानिकर संकेतों को भी साथ रखता है।
• देखे गए व्यवहार पर आधारित कई दौर वाले सिमुलेशन को प्राथमिकता दें। Anthropic के अनुसार, उसके एकल-दौर वाले मूल्यांकन अब संतृप्त हो चुके हैं: हर हालिया मॉडल में अहानिकर प्रतिक्रिया दर 94% से 98% तक है, इसलिए उनका मुख्य उपयोग प्रतिगमन जाँच के रूप में होता है।
• मूल्यांकनकर्ताओं को कैलिब्रेट करें, मानदंडों को स्पष्ट और द्विआधारी रखें, और जिन मामलों पर मूल्यांकनकर्ता को संदेह हो, उनकी समीक्षा इंसानों से करवाएँ।

13 नवंबर को X पर Anthropic की घोषणा को 881 अंक मिले।