AI TrackerСкачать
← Все новости
OpenAIПродукты

OpenAI выпускает классификатор изображений CSAM для проверенных организаций и добавляет предупреждения в ChatGPT

OpenAI сообщает о выпуске классификатора изображений, который выявляет потенциальные материалы сексуального насилия над детьми (CSAM), в том числе созданные ИИ, и возвращает оценки, помогающие проверяющим расставлять приоритеты. Он разработан при участии Национального центра по поиску пропавших и эксплуатируемых детей (NCMEC). Проверенные организации могут бесплатно запросить доступ через OpenAI API; OpenAI также работала над его распространением с Tech Coalition и ROOST. В API модель называется omni-moderation-csam-latest и доступна через эндпоинт /v1/moderations; она выдает отдельные сигналы о потенциальном CSAM и потенциальном CSAM, созданном ИИ. OpenAI называет ее первым широко доступным классификатором CSAM с отдельным сигналом о том, могли ли материалы быть созданы ИИ, и опубликовала карточку модели.

По результатам собственной оценки OpenAI на изображениях, загруженных пользователями, классификатор помечал бы на 48% меньше изображений, чем существующий инструмент, при этом выявляя примерно столько же изображений с материалами насилия; вероятность того, что среди помеченных изображений есть материалы насилия, была примерно вдвое выше. Первые партнеры сообщают о собственных результатах: fal утверждает, что проверяющие подтвердили наличие нового CSAM в 72% случаев с высокой степенью уверенности, invideo AI сообщает, что каждый четвертый помеченный случай приводил к блокировке, а SafetyKit заявляет, что выявила 90% случаев с рисунками или анимацией.

Другие части анонса:

  • Предупреждения в ChatGPT: попытки найти материалы насилия теперь вызывают предупреждение со ссылками на помощь. OpenAI сообщает, что удаляет помеченный разговор и приостанавливает доступ к ChatGPT на 24 часа; за повторные нарушения возможны более длительные ограничения, закрытие аккаунта или передача информации властям.
  • Рекомендации для разработчиков: OpenAI опубликовала рекомендации по предотвращению распространения CSAM, его выявлению и сообщению о нем, а также заявила, что совместно с Anthropic и Google заказала Tech Coalition подготовку рекомендаций по реагированию на сообщения о случаях насилия в системах ИИ.
  • Правоохранительные органы: подразделения, расследующие преступления против детей, получат новые инструменты и обучение. Первый инструмент помогает следователям анализировать журналы чатов и ответы на юридические запросы, находить связи и составлять хронологии; доступом управляют администраторы программы.

Получайте такие новости в push.

AI Tracker сообщит, когда что-то меняется в ваших инструментах.

Скачать приложение