OpenAI、審査済みの組織にCSAM画像分類器を提供し、ChatGPTに警告機能を追加
OpenAIは、AI生成コンテンツを含む児童性的虐待素材(CSAM)の可能性を検出し、審査担当者が優先順位を付けられるようスコアを返す画像分類器を公開すると発表しました。National Center for Missing and Exploited Children(NCMEC)の協力を得て開発されました。審査済みの組織はOpenAI APIを通じて無料で利用を申請できます。OpenAIはTech CoalitionおよびROOSTと協力して、この分類器を共有しました。APIでは、/v1/moderationsエンドポイントのモデルomni-moderation-csam-latestとして提供され、CSAMの可能性とAI生成CSAMの可能性を個別に示します。OpenAIは、AI生成の可能性を示す専用シグナルを備えた、広く利用可能な初のCSAM分類器だと説明し、モデルカードも公開しました。
ユーザーがアップロードした画像を対象とするOpenAI独自の評価では、既存ツールとほぼ同数の虐待画像を見つけながら、フラグを立てる画像の数を48%減らせるとのことです。また、フラグが立った画像に虐待が含まれている確率は約2倍でした。初期パートナーもそれぞれの結果を報告しています。falによると、高信頼度のフラグの72%が新たなCSAMであると審査担当者が確認しました。invideo AIは、フラグが立った事例の4件に1件でアカウントを停止したと述べています。SafetyKitによると、描画やアニメーションが関係する事例の90%を検出しました。
発表に含まれるその他の内容:
- ChatGPTの警告: 虐待素材を探そうとすると、支援先を案内する警告が表示されるようになりました。OpenAIによると、フラグが立った会話を削除し、ChatGPTへのアクセスを24時間停止します。違反を繰り返した場合は、より長い利用制限やアカウント閉鎖、当局への報告を行います。
- 開発者向けガイダンス: OpenAIは、CSAMの予防、検出、報告に関する開発者向けガイダンスを公開しました。また、AIシステムで虐待の開示があった際の対応に関するTech Coalitionのガイダンスを、AnthropicおよびGoogleと共同で委託したと述べています。
- 法執行機関: 児童安全を担当する捜査部門に新たなツールと研修を提供します。最初のツールは、捜査担当者がチャットログや法的手続きに基づいて取得した記録を確認し、関連性を見つけて時系列を作成するのを支援します。アクセスはプログラム管理者が管理します。
ソース
ディスカッション
- OpenAI: Strengthening the fight against online child sexual abuseHacker News · 74 件のコメント
- Strengthening the fight against online child sexual abuseHacker News · 188 件のコメント
こんなニュースをプッシュで。
使っているツールに変化があると、AI Tracker がお知らせします。