OpenAI rilascia un classificatore di immagini CSAM per organizzazioni verificate e aggiunge avvisi in ChatGPT
OpenAI afferma di rilasciare un classificatore di immagini che rileva potenziale materiale pedopornografico (CSAM), compreso quello generato dall’IA, e restituisce punteggi per aiutare i revisori a stabilire le priorità. È stato sviluppato con il supporto del National Center for Missing and Exploited Children (NCMEC). Le organizzazioni verificate possono richiedere l’accesso tramite l’API di OpenAI senza costi; OpenAI ha collaborato con Tech Coalition e ROOST per condividerlo. Nell’API è il modello omni-moderation-csam-latest sull’endpoint /v1/moderations, con segnali distinti per il potenziale CSAM e il potenziale CSAM generato dall’IA. OpenAI lo descrive come il primo classificatore CSAM ampiamente disponibile con un segnale specifico che indica se il materiale potrebbe essere stato generato dall’IA e ha pubblicato una scheda del modello.
Nella valutazione di OpenAI su immagini caricate dagli utenti, il classificatore segnalerebbe il 48% di immagini in meno rispetto allo strumento esistente, individuando all’incirca lo stesso numero di immagini abusive; inoltre, le immagini segnalate avrebbero una probabilità circa doppia di contenere abusi. I primi partner riferiscono i propri risultati: fal afferma che i revisori hanno confermato come CSAM inedito il 72% delle segnalazioni ad alta affidabilità, invideo AI dice che uno dei quattro casi segnalati ha portato a un ban e SafetyKit afferma di aver rilevato il 90% dei casi che coinvolgevano disegni o animazioni.
Altri aspetti dell’annuncio:
- Avvisi in ChatGPT: i tentativi di trovare materiale abusivo ora attivano un avviso che indirizza le persone verso forme di assistenza. OpenAI afferma di rimuovere la conversazione segnalata e sospendere l’accesso a ChatGPT per 24 ore, con restrizioni più lunghe, chiusura dell’account o segnalazioni alle autorità in caso di violazioni ripetute.
- Indicazioni per gli sviluppatori: OpenAI ha pubblicato indicazioni sul CSAM per gli sviluppatori, riguardo a prevenzione, rilevamento e segnalazione, e afferma di aver collaborato con Anthropic e Google per commissionare a Tech Coalition linee guida su come rispondere alle segnalazioni di abusi nei sistemi di IA.
- Forze dell’ordine: le unità investigative per la sicurezza dei minori ricevono nuovi strumenti e formazione. Il primo strumento aiuta gli investigatori a esaminare i registri delle chat e le risposte a richieste legali, individuare collegamenti e creare cronologie; l’accesso è gestito dagli amministratori del programma.
Fonti
Discussioni
- OpenAI: Strengthening the fight against online child sexual abuseHacker News · 74 commenti
- Strengthening the fight against online child sexual abuseHacker News · 188 commenti
Ricevi notizie come questa via push.
AI Tracker ti avvisa quando cambia qualcosa negli strumenti che usi.