OpenAI lança classificador de imagens de CSAM para organizações aprovadas e adiciona alertas ao ChatGPT
A OpenAI afirma que está lançando um classificador de imagens que detecta possíveis materiais de abuso sexual infantil (CSAM), incluindo material gerado por IA, e retorna pontuações para ajudar os revisores a definir prioridades. Ele foi desenvolvido com a ajuda do National Center for Missing and Exploited Children (NCMEC). Organizações aprovadas podem solicitar acesso gratuitamente pela API da OpenAI; a empresa trabalhou com a Tech Coalition e a ROOST para disponibilizá-lo. Na API, o modelo é omni-moderation-csam-latest, no endpoint /v1/moderations, com sinais separados para possíveis CSAM e possíveis CSAM gerados por IA. A OpenAI o descreve como o primeiro classificador de CSAM amplamente disponível com um sinal específico para indicar se o material pode ter sido gerado por IA, e publicou um cartão do modelo.
Na avaliação da própria OpenAI com imagens enviadas por usuários, o classificador sinalizaria 48% menos imagens que a ferramenta atual, encontrando aproximadamente o mesmo número de imagens abusivas; as imagens sinalizadas tinham cerca do dobro de probabilidade de conter abuso. Parceiros iniciais relatam seus próprios resultados: a fal diz que revisores confirmaram como CSAM inédito 72% dos alertas de alta confiança; a invideo AI diz que um em cada quatro casos sinalizados levou a um banimento; e a SafetyKit afirma ter detectado 90% dos casos que envolviam desenhos ou animações.
Outras partes do anúncio:
- Alertas no ChatGPT: tentativas de encontrar material abusivo agora acionam um alerta que indica onde buscar ajuda. A OpenAI diz que remove a conversa sinalizada e suspende o acesso ao ChatGPT por 24 horas; violações repetidas podem levar a restrições mais longas, encerramento da conta ou denúncias às autoridades.
- Orientações para desenvolvedores: a OpenAI publicou orientações sobre CSAM para desenvolvedores, abordando prevenção, detecção e denúncia, e afirma ter trabalhado com a Anthropic e o Google para encomendar à Tech Coalition orientações sobre como responder a relatos de abuso em sistemas de IA.
- Aplicação da lei: unidades de investigação de segurança infantil recebem novas ferramentas e treinamento. A primeira ferramenta ajuda investigadores a analisar registros de chat e respostas a solicitações legais, encontrar conexões e criar cronologias; o acesso é gerenciado por administradores do programa.
Fontes
Discussões
- OpenAI: Strengthening the fight against online child sexual abuseHacker News · 74 comentários
- Strengthening the fight against online child sexual abuseHacker News · 188 comentários
Receba notícias como esta por push.
O AI Tracker avisa você quando algo muda nas ferramentas que você usa.