AI TrackerBaixar o app
← Todas as notícias
OpenAIProdutos

OpenAI lança classificador de imagens de CSAM para organizações aprovadas e adiciona alertas ao ChatGPT

A OpenAI afirma que está lançando um classificador de imagens que detecta possíveis materiais de abuso sexual infantil (CSAM), incluindo material gerado por IA, e retorna pontuações para ajudar os revisores a definir prioridades. Ele foi desenvolvido com a ajuda do National Center for Missing and Exploited Children (NCMEC). Organizações aprovadas podem solicitar acesso gratuitamente pela API da OpenAI; a empresa trabalhou com a Tech Coalition e a ROOST para disponibilizá-lo. Na API, o modelo é omni-moderation-csam-latest, no endpoint /v1/moderations, com sinais separados para possíveis CSAM e possíveis CSAM gerados por IA. A OpenAI o descreve como o primeiro classificador de CSAM amplamente disponível com um sinal específico para indicar se o material pode ter sido gerado por IA, e publicou um cartão do modelo.

Na avaliação da própria OpenAI com imagens enviadas por usuários, o classificador sinalizaria 48% menos imagens que a ferramenta atual, encontrando aproximadamente o mesmo número de imagens abusivas; as imagens sinalizadas tinham cerca do dobro de probabilidade de conter abuso. Parceiros iniciais relatam seus próprios resultados: a fal diz que revisores confirmaram como CSAM inédito 72% dos alertas de alta confiança; a invideo AI diz que um em cada quatro casos sinalizados levou a um banimento; e a SafetyKit afirma ter detectado 90% dos casos que envolviam desenhos ou animações.

Outras partes do anúncio:

  • Alertas no ChatGPT: tentativas de encontrar material abusivo agora acionam um alerta que indica onde buscar ajuda. A OpenAI diz que remove a conversa sinalizada e suspende o acesso ao ChatGPT por 24 horas; violações repetidas podem levar a restrições mais longas, encerramento da conta ou denúncias às autoridades.
  • Orientações para desenvolvedores: a OpenAI publicou orientações sobre CSAM para desenvolvedores, abordando prevenção, detecção e denúncia, e afirma ter trabalhado com a Anthropic e o Google para encomendar à Tech Coalition orientações sobre como responder a relatos de abuso em sistemas de IA.
  • Aplicação da lei: unidades de investigação de segurança infantil recebem novas ferramentas e treinamento. A primeira ferramenta ajuda investigadores a analisar registros de chat e respostas a solicitações legais, encontrar conexões e criar cronologias; o acesso é gerenciado por administradores do programa.

Receba notícias como esta por push.

O AI Tracker avisa você quando algo muda nas ferramentas que você usa.

Baixar o app