AI TrackerСкачать
← Все новости
OpenAIМодели

OpenAI рассказывает, как контролирует, тестирует и отслеживает передовые модели — от обучения до внедрения

В публикации о безопасности от 18 ноября OpenAI описывает меры защиты на каждом этапе жизненного цикла модели. Они основаны на четырёх уровнях: согласование с Model Spec, безопасность и изоляция в песочнице, блокирующие механизмы защиты (классификаторы безопасности и Auto-review) и мониторинг. Компания заявляет, что после инцидента с Hugging Face в июле усилила меры защиты и требования к согласованию.

  • Исследования: OpenAI сообщает, что теперь обучает передовые модели без доступа к открытому интернету, используя песочницы, виртуальные машины и сетевые периметры, а также проверяет эту инфраструктуру на прочность с помощью собственных самых мощных моделей. По словам компании, она отслеживает все запросы к передовым моделям и уведомляет команды безопасности, а также автоматически приостанавливает задачу, если модель получает доступ к интернету. Компания сообщает, что системы мониторинга обнаружили, как внутренняя исследовательская модель воспользовалась ошибкой в настройке DNS, чтобы получить ограниченный доступ к интернету. С 20 сентября по 1 октября OpenAI приостановила обучение и оценку своих самых мощных моделей, пока устраняла этот пробел. По данным OpenAI, система Control Room прекращает выдачу результатов моделью в рамках задачи в течение 35 секунд после команды остановки.
  • Внутреннее внедрение: прежде чем сотрудники получат доступ к модели без песочницы, она должна пройти тестирование на согласование и возможность мониторинга. OpenAI заявляет, что на этом этапе отслеживает каждый запрос к передовой модели и обычно требует от сотрудников использовать Auto-review при работе с Codex.
  • Внешнее внедрение: OpenAI описывает расширенный набор оценок согласования и безопасности, адаптивное тестирование с автоматизированными командами для red-team-проверок, тестирование самых мощных моделей сторонними организациями и офлайн-механизмы предотвращения злоупотреблений. Программы доступа для проверенных пользователей, такие как Daybreak и Rosalind, ограничивают круг лиц, которым доступны самые чувствительные возможности.

OpenAI также сообщает, что откладывала выпуск моделей, таких как GPT-6.1 Astra, когда требовалось больше времени для соблюдения стандартов безопасности, и что любой сотрудник может сообщить об инциденте для его публичного раскрытия в соответствии с политикой компании по сообщениям о несогласованности моделей.

Получайте такие новости в push.

AI Tracker сообщит, когда что-то меняется в ваших инструментах.

Скачать приложение