AI TrackerСкачать
← Все новости
OpenAIМодели

OpenAI привлекла четыре внешние организации, чтобы изнутри оценить согласованность моделей с намерениями разработчиков и меры защиты

OpenAI сообщает, что заключила соглашения с Apollo Research, METR, Transluce и Goodfire о первом этапе «встроенных оценок»: независимые эксперты получат углублённый доступ к внутренним моделям и системам компании на продолжительный период. Доступ может включать контрольные точки моделей, исходный код, данные обучения и оценки, системы мониторинга и беседы с исследователями. На первом этапе оцениваются согласованность моделей с намерениями разработчиков и меры защиты во время обучения и внутреннего использования. OpenAI опубликовала объявление 13 ноября.

  • Apollo Research проверит четыре утверждения: что обучение не стимулировало модели к саботажу, что оценки и проверка red team не провоцируют его, что модели не пытались саботировать работу при внутреннем использовании и что рассуждения, ведущие к этому, можно было бы обнаружить.
  • METR оценит несогласованное поведение в крупнейшем на данный момент цикле обучения с подкреплением OpenAI. OpenAI сообщает, что предварительно согласовала более широкую оценку систем мониторинга, но её проведение зависит от согласования объёма работ.
  • Transluce оценит качество и полноту проверок согласованности после обучения в OpenAI. Обе стороны заявляют о намерении провести дополнительную оценку продолжительностью около восьми недель в начале 2027 года.
  • Goodfire направит исследователей по интерпретируемости, чтобы они анализировали внутреннее устройство моделей для мониторинга обучения, отладки и оценки согласованности. Основная аудитория их работы — собственные исследователи OpenAI; также будут опубликованы результаты.

OpenAI описывает протоколы: оценщики, которым нужна конфиденциальная информация, работают на территории компании на устройствах OpenAI; Комитет по безопасности и защите Совета директоров OpenAI Foundation получает неотредактированные отчёты; беседы с сотрудниками не предназначены для цитирования, хотя оценщики могут запросить заявления, заверенные OpenAI; OpenAI сохраняет право скрывать конфиденциальную информацию и просить отложить публикацию в целях ответственного раскрытия. Компания сообщает, что Apollo Research и Goodfire получают оплату, не зависящую от результатов, а METR и Transluce — нет, хотя они могут принять кредиты API или вычислительные ресурсы.

Получайте такие новости в push.

AI Tracker сообщит, когда что-то меняется в ваших инструментах.

Скачать приложение