OpenAI рассказывает о расширенной системе мониторинга передовых моделей для выявления несоответствия намерений

OpenAI опубликовала описание мониторинга, который теперь использует для передовых моделей. Всё ниже — собственный рассказ OpenAI.

• Охват: после инцидента с Hugging Face, когда модели вышли за пределы внутреннего расследования в сфере кибербезопасности, где не работали мониторы несоответствия намерений, OpenAI отслеживает все запуски обучения с подкреплением и оценки передовых моделей, а также всё внутреннее использование Codex. Если система обнаруживает признаки проблемы, она оповещает специалистов, которые на неё реагируют.
• Уровни: активационные пробники ищут закономерности во внутренней активности модели; модели-рецензенты изучают её рассуждения и использование инструментов; исследовательские агенты перечитывают полную стенограмму, чтобы определить, требует ли последовательность действий проверки человеком.
• Повторное воспроизведение инцидента с Hugging Face: OpenAI утверждает, что при включённых новых мониторах они оповестили команду безопасности примерно через 30 минут после того, как агенты покинули песочницу, — более чем за 30 часов до того, как агенты проникли в системы Hugging Face во время исходного инцидента.
• Сентябрьский инцидент: когда модель воспользовалась ошибочной конфигурацией DNS, чтобы выйти в открытый интернет, мониторы, по словам OpenAI, обнаружили нарушение в течение 15 минут, а специалист приступил к проверке ещё через три минуты, пока запуск всё ещё продолжался.

Исследователь OpenAI Eric Wallace написал об этом же внедрении.