AI TrackerScarica l'app
← Tutte le notizie
OpenAIProdotti

OpenAI rilascia un classificatore di immagini CSAM per organizzazioni verificate e aggiunge avvisi in ChatGPT

OpenAI afferma di rilasciare un classificatore di immagini che rileva potenziale materiale pedopornografico (CSAM), compreso quello generato dall’IA, e restituisce punteggi per aiutare i revisori a stabilire le priorità. È stato sviluppato con il supporto del National Center for Missing and Exploited Children (NCMEC). Le organizzazioni verificate possono richiedere l’accesso tramite l’API di OpenAI senza costi; OpenAI ha collaborato con Tech Coalition e ROOST per condividerlo. Nell’API è il modello omni-moderation-csam-latest sull’endpoint /v1/moderations, con segnali distinti per il potenziale CSAM e il potenziale CSAM generato dall’IA. OpenAI lo descrive come il primo classificatore CSAM ampiamente disponibile con un segnale specifico che indica se il materiale potrebbe essere stato generato dall’IA e ha pubblicato una scheda del modello.

Nella valutazione di OpenAI su immagini caricate dagli utenti, il classificatore segnalerebbe il 48% di immagini in meno rispetto allo strumento esistente, individuando all’incirca lo stesso numero di immagini abusive; inoltre, le immagini segnalate avrebbero una probabilità circa doppia di contenere abusi. I primi partner riferiscono i propri risultati: fal afferma che i revisori hanno confermato come CSAM inedito il 72% delle segnalazioni ad alta affidabilità, invideo AI dice che uno dei quattro casi segnalati ha portato a un ban e SafetyKit afferma di aver rilevato il 90% dei casi che coinvolgevano disegni o animazioni.

Altri aspetti dell’annuncio:

  • Avvisi in ChatGPT: i tentativi di trovare materiale abusivo ora attivano un avviso che indirizza le persone verso forme di assistenza. OpenAI afferma di rimuovere la conversazione segnalata e sospendere l’accesso a ChatGPT per 24 ore, con restrizioni più lunghe, chiusura dell’account o segnalazioni alle autorità in caso di violazioni ripetute.
  • Indicazioni per gli sviluppatori: OpenAI ha pubblicato indicazioni sul CSAM per gli sviluppatori, riguardo a prevenzione, rilevamento e segnalazione, e afferma di aver collaborato con Anthropic e Google per commissionare a Tech Coalition linee guida su come rispondere alle segnalazioni di abusi nei sistemi di IA.
  • Forze dell’ordine: le unità investigative per la sicurezza dei minori ricevono nuovi strumenti e formazione. Il primo strumento aiuta gli investigatori a esaminare i registri delle chat e le risposte a richieste legali, individuare collegamenti e creare cronologie; l’accesso è gestito dagli amministratori del programma.

Ricevi notizie come questa via push.

AI Tracker ti avvisa quando cambia qualcosa negli strumenti che usi.

Scarica l'app