OpenAI, 검증된 기관에 CSAM 이미지 분류기 공개하고 ChatGPT 경고 추가
OpenAI는 AI 생성 자료를 포함해 아동 성착취물(CSAM)일 가능성이 있는 이미지를 감지하고, 검토자가 우선순위를 정하는 데 도움이 되는 점수를 반환하는 이미지 분류기를 공개한다고 밝혔습니다. 이 분류기는 미국실종학대아동센터(NCMEC)의 지원을 받아 개발됐습니다. 검증된 기관은 OpenAI API를 통해 무료로 이용을 신청할 수 있으며, OpenAI는 이를 공유하기 위해 Tech Coalition 및 ROOST와 협력했습니다. API에서는 /v1/moderations 엔드포인트의 omni-moderation-csam-latest 모델로 제공되며, CSAM 가능성과 AI 생성 CSAM 가능성을 각각 별도의 신호로 표시합니다. OpenAI는 이 모델을 AI 생성 여부를 나타내는 별도 신호를 갖춘 최초의 폭넓게 이용 가능한 CSAM 분류기라고 소개했으며, 모델 카드도 공개했습니다.
OpenAI가 사용자가 업로드한 이미지로 자체 평가한 결과, 기존 도구와 거의 같은 수의 학대 이미지를 찾아내면서도 분류기가 표시하는 이미지는 48% 적었고, 표시된 이미지에 학대가 포함될 가능성은 약 두 배 높았습니다. 초기 협력 기관들은 자체 결과를 전했습니다. fal은 높은 신뢰도로 표시된 사례 중 72%가 새롭게 발견된 CSAM이라고 검토자들이 확인했다고 밝혔고, invideo AI는 표시된 사례 4건 중 1건이 계정 정지로 이어졌다고 했으며, SafetyKit은 그림이나 애니메이션이 관련된 사례의 90%를 감지했다고 밝혔습니다.
발표에 포함된 다른 내용:
- ChatGPT 경고: 학대 자료를 찾으려는 시도에는 이제 도움을 받을 수 있는 곳을 안내하는 경고가 표시됩니다. OpenAI는 해당 대화를 삭제하고 ChatGPT 이용을 24시간 중단한다고 밝혔으며, 위반이 반복되면 더 장기간 제한하거나 계정을 폐쇄하고 당국에 신고할 수 있다고 설명했습니다.
- 개발자 지침: OpenAI는 예방, 감지 및 신고에 관한 개발자용 CSAM 지침을 공개했습니다. 또한 Anthropic 및 Google과 협력해 Tech Coalition에 AI 시스템에서 학대 사실이 공개됐을 때 대응하는 방법에 대한 지침을 의뢰했다고 밝혔습니다.
- 법 집행기관: 아동 안전 수사팀에 새로운 도구와 교육을 제공합니다. 첫 번째 도구는 수사관이 채팅 기록과 법적 절차를 통해 확보한 자료를 검토하고, 연관성을 찾아 타임라인을 구성하도록 돕습니다. 접근 권한은 프로그램 관리자가 관리합니다.
출처
토론
- OpenAI: Strengthening the fight against online child sexual abuseHacker News · 댓글 74개
- Strengthening the fight against online child sexual abuseHacker News · 댓글 188개
이런 뉴스를 푸시로 받아보세요.
사용하는 도구에 변화가 생기면 AI Tracker가 알려드립니다.