AI TrackerApp laden
← Alle News
OpenAIProdukte

OpenAI veröffentlicht einen CSAM-Bildklassifikator für geprüfte Organisationen und ergänzt Warnhinweise in ChatGPT

OpenAI erklärt, einen Bildklassifikator zu veröffentlichen, der potenzielles Material zu sexuellem Kindesmissbrauch (CSAM) erkennt, einschließlich KI-generierter Inhalte, und Bewertungen ausgibt, damit Prüfer Fälle priorisieren können. Entwickelt wurde er mit Unterstützung des National Center for Missing and Exploited Children (NCMEC). Geprüfte Organisationen können kostenlos über die OpenAI API Zugriff beantragen; OpenAI hat bei der Weitergabe des Klassifikators mit der Tech Coalition und ROOST zusammengearbeitet. In der API ist er als Modell omni-moderation-csam-latest über den Endpunkt /v1/moderations verfügbar und liefert separate Signale für potenzielles CSAM und potenziell KI-generiertes CSAM. OpenAI bezeichnet ihn als den ersten weithin verfügbaren CSAM-Klassifikator mit einem spezifischen Signal dafür, ob Inhalte KI-generiert sein könnten, und hat eine Model Card veröffentlicht.

Bei einer eigenen Auswertung von von Nutzern hochgeladenen Bildern würde der Klassifikator laut OpenAI 48 % weniger Bilder markieren als das bestehende Tool, dabei aber ungefähr gleich viele Missbrauchsdarstellungen finden; markierte Bilder enthielten etwa doppelt so wahrscheinlich Missbrauchsdarstellungen. Erste Partner berichten von eigenen Ergebnissen: fal zufolge bestätigten Prüfer 72 % der Markierungen mit hoher Konfidenz als neuartiges CSAM, bei invideo AI führte einer von vier markierten Fällen zu einer Sperre, und SafetyKit zufolge erkannte das System 90 % der Fälle mit Zeichnungen oder Animationen.

Weitere Punkte der Ankündigung:

  • Warnhinweise in ChatGPT: Versuche, Missbrauchsdarstellungen zu finden, lösen nun einen Warnhinweis aus, der auf Hilfsangebote verweist. OpenAI erklärt, die markierte Unterhaltung zu entfernen und den Zugriff auf ChatGPT für 24 Stunden auszusetzen. Bei wiederholten Verstößen seien längere Einschränkungen, eine Kontoschließung oder Meldungen an Behörden möglich.
  • Leitlinien für Entwickler: OpenAI hat Leitlinien zu CSAM für Entwickler veröffentlicht, die Prävention, Erkennung und Meldung behandeln. Außerdem habe das Unternehmen mit Anthropic und Google zusammengearbeitet, um bei der Tech Coalition Leitlinien zum Umgang mit Offenlegungen von Missbrauch in KI-Systemen in Auftrag zu geben.
  • Strafverfolgungsbehörden: Ermittlungsstellen für Kinderschutz erhalten neue Tools und Schulungen. Das erste Tool soll Ermittlern dabei helfen, Chatprotokolle und Ergebnisse rechtlicher Auskunftsersuchen zu prüfen, Zusammenhänge zu erkennen und Zeitachsen zu erstellen; den Zugriff verwalten Programmadministratoren.

News wie diese als Push.

AI Tracker benachrichtigt dich, wenn sich bei deinen Tools etwas ändert.

App laden