OpenAI met à disposition des organisations agréées un classificateur d’images de CSAM et ajoute des avertissements dans ChatGPT
OpenAI annonce la mise à disposition d’un classificateur d’images qui détecte les contenus susceptibles de constituer du matériel d’abus sexuels sur mineurs (CSAM), y compris les contenus générés par l’IA, et renvoie des scores pour aider les équipes de modération à établir leurs priorités. Il a été développé avec l’aide du National Center for Missing and Exploited Children (NCMEC). Les organisations agréées peuvent demander gratuitement un accès via l’API OpenAI ; OpenAI a collaboré avec la Tech Coalition et ROOST pour le partager. Dans l’API, il s’agit du modèle omni-moderation-csam-latest, accessible sur le point de terminaison /v1/moderations, avec des signaux distincts pour les contenus susceptibles de constituer du CSAM et ceux susceptibles d’être du CSAM généré par l’IA. OpenAI le présente comme le premier classificateur de CSAM largement accessible doté d’un signal spécifique indiquant si le contenu est susceptible d’avoir été généré par l’IA, et a publié une fiche de modèle.
Lors de sa propre évaluation sur des images téléversées par des utilisateurs, OpenAI indique que le classificateur aurait signalé 48 % d’images en moins que son outil existant tout en repérant à peu près autant d’images abusives ; les images signalées étaient environ deux fois plus susceptibles de contenir des abus. Les premiers partenaires font état de leurs propres résultats : fal indique que les équipes de modération ont confirmé que 72 % des signalements à haut niveau de confiance concernaient du CSAM inédit, invideo AI dit qu’un cas signalé sur quatre a entraîné un bannissement, et SafetyKit affirme avoir détecté 90 % des cas impliquant des dessins ou des animations.
Autres éléments de l’annonce :
- Avertissements dans ChatGPT : les tentatives de recherche de contenu abusif déclenchent désormais un avertissement invitant les personnes concernées à demander de l’aide. OpenAI indique supprimer la conversation signalée et suspendre l’accès à ChatGPT pendant 24 heures ; en cas de récidive, des restrictions plus longues, la fermeture du compte ou un signalement aux autorités sont possibles.
- Conseils aux développeurs : OpenAI a publié des recommandations sur la prévention, la détection et le signalement du CSAM à l’intention des développeurs. L’entreprise indique aussi avoir collaboré avec Anthropic et Google pour commander à la Tech Coalition des recommandations sur la manière de répondre aux révélations de cas d’abus dans les systèmes d’IA.
- Forces de l’ordre : les unités d’enquête sur la sécurité des enfants disposent de nouveaux outils et d’une nouvelle formation. Le premier outil aide les enquêteurs à examiner les journaux de discussion et les réponses aux demandes légales, à repérer des liens et à établir des chronologies ; l’accès est géré par les administrateurs du programme.
Sources
Discussions
- OpenAI: Strengthening the fight against online child sexual abuseHacker News · 74 commentaires
- Strengthening the fight against online child sexual abuseHacker News · 188 commentaires
Recevez ce genre d'actus en notification.
AI Tracker vous prévient dès que quelque chose change pour les outils que vous utilisez.