AI TrackerDescargar
← Todas las noticias
OpenAIProductos

OpenAI lanza un clasificador de imágenes de CSAM para organizaciones verificadas y añade advertencias en ChatGPT

OpenAI afirma que lanza un clasificador de imágenes que detecta posible material de abuso sexual infantil (CSAM), incluido el generado por IA, y devuelve puntuaciones para ayudar a los revisores a priorizar. Se desarrolló con la colaboración del National Center for Missing and Exploited Children (NCMEC). Las organizaciones verificadas pueden solicitar acceso gratis a través de la API de OpenAI; la empresa trabajó con Tech Coalition y ROOST para compartirlo. En la API, es el modelo omni-moderation-csam-latest en el endpoint /v1/moderations, con señales independientes para posible CSAM y posible CSAM generado por IA. OpenAI lo describe como el primer clasificador de CSAM de amplia disponibilidad con una señal específica que indica si el material podría haberse generado con IA, y ha publicado una ficha del modelo.

En la evaluación propia de OpenAI con imágenes subidas por usuarios, el clasificador marcaría un 48 % menos de imágenes que su herramienta actual, pero encontraría aproximadamente la misma cantidad de imágenes abusivas; además, las imágenes marcadas tendrían el doble de probabilidades de contener abuso. Los primeros socios comparten sus propios resultados: fal afirma que los revisores confirmaron como CSAM novedoso el 72 % de las alertas de alta confianza; invideo AI dice que uno de cada cuatro casos marcados dio lugar a una suspensión, y SafetyKit afirma que detectó el 90 % de los casos con dibujos o animaciones.

Otros aspectos del anuncio:

  • Advertencias en ChatGPT: los intentos de encontrar material abusivo ahora activan una advertencia que dirige a las personas a obtener ayuda. OpenAI afirma que elimina la conversación marcada y suspende el acceso a ChatGPT durante 24 horas; ante infracciones reiteradas, puede imponer restricciones más prolongadas, cerrar la cuenta o informar a las autoridades.
  • Orientación para desarrolladores: OpenAI publicó recomendaciones para desarrolladores sobre la prevención, detección y denuncia de CSAM, y afirma que trabajó con Anthropic y Google para encargar a Tech Coalition una guía sobre cómo responder a las revelaciones de abuso en sistemas de IA.
  • Fuerzas del orden: las unidades de investigación sobre seguridad infantil reciben nuevas herramientas y capacitación. La primera herramienta ayuda a los investigadores a revisar registros de chats y respuestas a solicitudes legales, encontrar conexiones y crear cronologías; el acceso lo gestionan los administradores del programa.

Recibe noticias como esta por push.

AI Tracker te avisa cuando algo cambia en las herramientas que usas.

Descargar la app