OpenAI udostępnia zweryfikowanym organizacjom klasyfikator obrazów CSAM i dodaje ostrzeżenia w ChatGPT
OpenAI informuje o udostępnieniu klasyfikatora obrazów wykrywającego potencjalne materiały przedstawiające seksualne wykorzystywanie dzieci (CSAM), w tym materiały wygenerowane przez AI. Klasyfikator zwraca wyniki, które pomagają osobom weryfikującym ustalać priorytety. Powstał przy wsparciu National Center for Missing and Exploited Children (NCMEC). Zweryfikowane organizacje mogą bezpłatnie wnioskować o dostęp za pośrednictwem OpenAI API; OpenAI współpracowało z Tech Coalition i ROOST przy jego udostępnianiu. W API jest dostępny jako model omni-moderation-csam-latest w punkcie końcowym /v1/moderations, z oddzielnymi sygnałami wskazującymi potencjalne CSAM i potencjalne CSAM wygenerowane przez AI. OpenAI opisuje go jako pierwszy szeroko dostępny klasyfikator CSAM z odrębnym sygnałem wskazującym, czy materiał może być wygenerowany przez AI, i opublikowało kartę modelu.
W ocenie OpenAI przeprowadzonej na obrazach przesłanych przez użytkowników klasyfikator oznaczałby o 48% mniej obrazów niż dotychczasowe narzędzie, wykrywając przy tym mniej więcej tyle samo obrazów przedstawiających wykorzystywanie. Oznaczone obrazy około dwa razy częściej zawierały materiały przedstawiające wykorzystywanie. Pierwsi partnerzy informują o własnych wynikach: fal podaje, że recenzenci potwierdzili, iż 72% oznaczeń o wysokim poziomie pewności dotyczyło nowych przypadków CSAM; invideo AI informuje, że jeden na cztery oznaczone przypadki doprowadził do zablokowania konta; a SafetyKit twierdzi, że wykrył 90% przypadków obejmujących rysunki lub animacje.
Pozostałe elementy ogłoszenia:
- Ostrzeżenia w ChatGPT: próby wyszukania materiałów przedstawiających wykorzystywanie wywołują teraz ostrzeżenie wskazujące, gdzie można uzyskać pomoc. OpenAI informuje, że usuwa oznaczoną rozmowę i zawiesza dostęp do ChatGPT na 24 godziny; w przypadku powtarzających się naruszeń może nałożyć dłuższe ograniczenia, zamknąć konto lub powiadomić organy ścigania.
- Wskazówki dla deweloperów: OpenAI opublikowało wskazówki dotyczące zapobiegania, wykrywania i zgłaszania CSAM dla deweloperów. Firma informuje też, że współpracowała z Anthropic i Google przy zleceniu Tech Coalition opracowania wskazówek dotyczących reagowania na ujawnienia przypadków wykorzystywania w systemach AI.
- Organy ścigania: jednostki dochodzeniowe zajmujące się bezpieczeństwem dzieci otrzymają nowe narzędzia i szkolenia. Pierwsze narzędzie pomaga śledczym analizować dzienniki czatów i odpowiedzi na wnioski prawne, znajdować powiązania i tworzyć osie czasu; dostępem zarządzają administratorzy programu.
Źródła
Dyskusje
- OpenAI: Strengthening the fight against online child sexual abuseHacker News · 74 komentarze
- Strengthening the fight against online child sexual abuseHacker News · 188 komentarzy
Otrzymuj takie wiadomości jako push.
AI Tracker powiadomi Cię, gdy coś zmieni się w narzędziach, których używasz.