OpenAI ने जांचे-परखे संगठनों के लिए CSAM इमेज क्लासिफ़ायर जारी किया और ChatGPT में चेतावनियां जोड़ीं
OpenAI का कहना है कि वह एक इमेज क्लासिफ़ायर जारी कर रहा है, जो बाल यौन शोषण सामग्री (CSAM) की आशंका का पता लगाता है—जिसमें AI से बनाई गई सामग्री भी शामिल है—और समीक्षकों को प्राथमिकता तय करने में मदद के लिए स्कोर देता है। इसे National Center for Missing and Exploited Children (NCMEC) की मदद से विकसित किया गया। जांचे-परखे संगठन OpenAI API के ज़रिए बिना किसी शुल्क के इसकी पहुंच का अनुरोध कर सकते हैं; इसे साझा करने के लिए OpenAI ने Tech Coalition और ROOST के साथ काम किया। API में यह मॉडल /v1/moderations एंडपॉइंट पर omni-moderation-csam-latest नाम से उपलब्ध है और संभावित CSAM तथा संभावित AI-निर्मित CSAM के लिए अलग-अलग संकेत देता है। OpenAI इसे व्यापक रूप से उपलब्ध पहला ऐसा CSAM क्लासिफ़ायर बताता है, जिसमें सामग्री के AI-निर्मित होने की आशंका के लिए एक खास संकेत है। कंपनी ने इसका मॉडल कार्ड भी प्रकाशित किया है।
उपयोगकर्ताओं द्वारा अपलोड की गई इमेज पर OpenAI के अपने मूल्यांकन में, इस क्लासिफ़ायर ने उसके मौजूदा टूल की तुलना में 48% कम इमेज को फ़्लैग किया, जबकि दुरुपयोग वाली लगभग उतनी ही इमेज का पता लगाया; फ़्लैग की गई इमेज में दुरुपयोग होने की संभावना लगभग दोगुनी थी। शुरुआती साझेदारों ने अपने नतीजे बताए हैं: fal का कहना है कि समीक्षकों ने उच्च-विश्वास वाले 72% फ़्लैग को नए CSAM के रूप में पुष्ट किया, invideo AI के अनुसार फ़्लैग किए गए चार में से एक मामले में प्रतिबंध लगाया गया, और SafetyKit का कहना है कि उसने चित्रों या एनिमेशन से जुड़े 90% मामलों का पता लगाया।
घोषणा के अन्य हिस्से:
- ChatGPT की चेतावनियां: अब दुरुपयोग वाली सामग्री खोजने की कोशिशों पर एक चेतावनी दिखाई देती है, जो लोगों को मदद के लिए सही जगह बताती है। OpenAI का कहना है कि वह फ़्लैग की गई बातचीत हटाता है और 24 घंटे के लिए ChatGPT की पहुंच रोकता है; बार-बार नियम तोड़ने पर इससे लंबी पाबंदियां, खाता बंद करना या अधिकारियों को रिपोर्ट करना शामिल हो सकता है।
- डेवलपर मार्गदर्शन: OpenAI ने रोकथाम, पहचान और रिपोर्टिंग पर डेवलपर्स के लिए CSAM मार्गदर्शन प्रकाशित किया है। उसका कहना है कि AI सिस्टम में दुरुपयोग के खुलासों पर प्रतिक्रिया देने संबंधी Tech Coalition के मार्गदर्शन को तैयार कराने के लिए उसने Anthropic और Google के साथ काम किया।
- कानून प्रवर्तन: बाल-सुरक्षा जांच इकाइयों को नए टूल और प्रशिक्षण मिलेंगे। पहला टूल जांचकर्ताओं को चैट लॉग और कानूनी प्रक्रिया के जवाबों की समीक्षा करने, संबंध खोजने और घटनाक्रम की समयरेखा बनाने में मदद करता है; इसकी पहुंच कार्यक्रम प्रशासकों के नियंत्रण में होगी।
स्रोत
चर्चाएँ
- OpenAI: Strengthening the fight against online child sexual abuseHacker News · 74 टिप्पणियाँ
- Strengthening the fight against online child sexual abuseHacker News · 188 टिप्पणियाँ
ऐसी ख़बरें push में पाएँ।
आपके टूल्स में कुछ बदलते ही AI Tracker आपको अलर्ट करता है।