OpenAI 向经过审核的机构发布 CSAM 图像分类器,并为 ChatGPT 添加警告
OpenAI 表示,正在发布一款图像分类器,用于检测疑似儿童性虐待材料(CSAM),包括 AI 生成的材料,并返回评分,帮助审核人员确定处理优先级。该分类器是在美国国家失踪与受虐儿童中心(NCMEC)的协助下开发的。经过审核的机构可通过 OpenAI API 免费申请访问;OpenAI 与 Tech Coalition 和 ROOST 合作共享了该工具。在 API 中,它是 /v1/moderations 端点上的模型 omni-moderation-csam-latest,分别提供疑似 CSAM 和疑似 AI 生成 CSAM 的信号。OpenAI 称,这是首个广泛提供、且能明确标示材料是否可能由 AI 生成的 CSAM 分类器,并已发布模型卡。
在 OpenAI 对用户上传图像进行的内部评估中,与现有工具相比,该分类器标记的图像减少了 48%,同时找到的滥用图像数量大致相同;被标记的图像包含滥用内容的可能性约为两倍。早期合作伙伴也报告了各自的结果:fal 表示,审核人员确认 72% 的高置信度标记涉及此前未发现的 CSAM;invideo AI 表示,每四起被标记的案例中就有一起导致封禁;SafetyKit 表示,它检测到了涉及绘画或动画的案例中的 90%。
公告的其他内容:
- ChatGPT 警告: 现在,试图寻找滥用材料的行为会触发一条指向求助资源的警告。OpenAI 表示,会删除被标记的对话,并暂停用户使用 ChatGPT 24 小时;对于屡次违规者,还可能施加更长期的限制、关闭账户或向执法部门报告。
- 开发者指南: OpenAI 发布了面向开发者的 CSAM 指南,涵盖预防、检测和报告;该公司还表示,已与 Anthropic 和 Google 合作,委托 Tech Coalition 制定有关如何应对 AI 系统中虐待披露情况的指南。
- 执法部门: 儿童安全调查部门获得了新工具和培训。首个工具可帮助调查人员审查聊天记录和法律程序返回的信息、查找关联并建立时间线;访问权限由项目管理员管理。
来源
- 借助新工具和支持,加强打击网络儿童性虐待chatgpt
讨论
- OpenAI: Strengthening the fight against online child sexual abuseHacker News · 74 条评论
- Strengthening the fight against online child sexual abuseHacker News · 188 条评论
这样的新闻,第一时间推送给你。
你用的 AI 工具一有变化,AI Tracker 就会提醒你。