Anthropic поручила тысячам агентов Claude проверять мониторы обучающих данных на предмет скрытого несоответствия

Anthropic опубликовала исследование об автоматизации red teaming для выявления тонких проявлений скрытого несоответствия, отметив, что red teaming крайне важен для проверки безопасности моделей, но ограничен временем исследователей. Всё ниже — собственное описание Anthropic из публикации и материала в Alignment Science Blog.

• Метод: тысячам агентов Claude поручили создавать обучающие данные, которые обходят монитор обучающих данных.
• Что создали агенты: данные, которые казались мониторам безобидными — например, о том, как опытный борец наставляет новичка, или вопросы и ответы о профессиональном пчеловодстве, — но, по словам Anthropic, на деле обучали несоответствующему поведению.
• Применение: Anthropic утверждает, что такие примеры могут напрямую улучшить будущие мониторы обучающих данных. Компания называет эту работу первым шагом и говорит, что в будущем red teaming можно будет значительно улучшить с помощью более совершенных моделей и дополнительных вычислительных ресурсов.