OpenAI 向經審核的機構推出 CSAM 影像分類器,並新增 ChatGPT 警告
OpenAI 表示,正推出一款影像分類器,用於偵測可能的兒童性虐待材料(CSAM),包括 AI 生成的材料,並回傳分數,協助審查人員排定處理優先順序。這款分類器是在美國失蹤與受剝削兒童中心(NCMEC)的協助下開發。經審核的機構可透過 OpenAI API 免費申請使用;OpenAI 也與 Tech Coalition 和 ROOST 合作分享這款工具。在 API 中,它是 /v1/moderations 端點上的模型 omni-moderation-csam-latest,並提供可能為 CSAM 與可能為 AI 生成 CSAM 的個別訊號。OpenAI 稱,這是首款廣泛提供、且有專門訊號判斷材料是否可能由 AI 生成的 CSAM 分類器,並已發布模型卡。
OpenAI 使用者上傳影像進行的內部評估顯示,這款分類器標記的影像會比現有工具少 48%,但找出的虐待影像數量大致相同;而被標記的影像含有虐待內容的可能性約為兩倍。早期合作夥伴也分享了各自的成果:fal 表示,審查人員確認 72% 的高信心標記為新型 CSAM;invideo AI 表示,每四宗被標記的案例中有一宗導致封禁;SafetyKit 表示,偵測到涉及繪畫或動畫的案例中,有 90% 被識別出來。
公告的其他內容:
- ChatGPT 警告: 試圖尋找虐待材料的行為現在會觸發警告,並提供求助資訊。OpenAI 表示,會移除被標記的對話,並暫停該使用者使用 ChatGPT 24 小時;若屢次違規,則可能施加更長時間的限制、關閉帳戶或向主管機關通報。
- 開發者指南: OpenAI 發布了 CSAM 開發者指南,涵蓋預防、偵測與通報,並表示已與 Anthropic 和 Google 合作,委託 Tech Coalition 制定 AI 系統中虐待揭露事件的應對指南。
- 執法機關: 兒童安全調查單位將獲得新工具與訓練。第一款工具可協助調查人員審查聊天記錄與依法取得的資料、找出關聯並建立時間軸;存取權限由計畫管理員管理。
來源
- 以新工具與支援強化打擊網路兒童性虐待chatgpt
討論
- OpenAI: Strengthening the fight against online child sexual abuseHacker News · 74 則留言
- Strengthening the fight against online child sexual abuseHacker News · 188 則留言
這樣的新聞,第一時間推播給你。
你使用的 AI 工具一有變化,AI Tracker 就會通知你。