AI TrackerDownload
← Al het nieuws
OpenAIProducten

OpenAI brengt CSAM-afbeeldingsclassifier uit voor gescreende organisaties en voegt waarschuwingen toe aan ChatGPT

OpenAI zegt een afbeeldingsclassifier uit te brengen die mogelijk materiaal van seksueel kindermisbruik (CSAM) detecteert, waaronder door AI gegenereerd materiaal, en scores geeft om reviewers te helpen prioriteiten te stellen. De classifier is ontwikkeld met hulp van het National Center for Missing and Exploited Children (NCMEC). Gescreende organisaties kunnen gratis toegang aanvragen via de OpenAI API; OpenAI werkte samen met de Tech Coalition en ROOST om de classifier te delen. In de API is het model beschikbaar als omni-moderation-csam-latest op het /v1/moderations-endpoint, met afzonderlijke signalen voor mogelijk CSAM en mogelijk door AI gegenereerd CSAM. OpenAI beschrijft het als de eerste breed beschikbare CSAM-classifier met een specifiek signaal voor de vraag of materiaal mogelijk door AI is gegenereerd, en heeft een modelkaart gepubliceerd.

Volgens OpenAI's eigen evaluatie van door gebruikers geüploade afbeeldingen zou de classifier 48% minder afbeeldingen markeren dan het bestaande hulpmiddel, terwijl hij ongeveer evenveel beelden van misbruik zou vinden; gemarkeerde afbeeldingen bevatten ongeveer twee keer zo vaak misbruik. Vroege partners delen hun eigen resultaten: fal zegt dat reviewers 72% van de meldingen met hoge betrouwbaarheid als nieuw CSAM bevestigden, invideo AI zegt dat één op de vier gemarkeerde gevallen tot een ban leidde, en SafetyKit zegt dat het 90% van de gevallen met tekeningen of animaties detecteerde.

Andere onderdelen van de aankondiging:

  • Waarschuwingen in ChatGPT: pogingen om materiaal van misbruik te vinden leiden nu tot een waarschuwing die verwijst naar hulp. OpenAI zegt het gemarkeerde gesprek te verwijderen en de toegang tot ChatGPT 24 uur op te schorten; bij herhaalde overtredingen kunnen langere beperkingen, sluiting van het account of meldingen aan de autoriteiten volgen.
  • Richtlijnen voor ontwikkelaars: OpenAI heeft CSAM-richtlijnen voor ontwikkelaars gepubliceerd over preventie, detectie en melding, en zegt te hebben samengewerkt met Anthropic en Google om Tech Coalition-richtlijnen te laten opstellen voor de omgang met meldingen van misbruik in AI-systemen.
  • Wetshandhaving: onderzoekseenheden voor kinderveiligheid krijgen nieuwe hulpmiddelen en training. Het eerste hulpmiddel helpt onderzoekers chatlogs en antwoorden op juridische verzoeken te beoordelen, verbanden te vinden en tijdlijnen op te stellen; de toegang wordt beheerd door programmabeheerders.

Krijg nieuws als dit als pushmelding.

AI Tracker waarschuwt je zodra er iets verandert aan de tools die je gebruikt.

Download de app