OpenAI описывает Control Room — систему, которая может останавливать рабочие нагрузки моделей во всей исследовательской инфраструктуре компании

OpenAI опубликовала описание Control Room — централизованной системы, которая отслеживает рабочие нагрузки моделей в исследовательской инфраструктуре компании и может останавливать их при возникновении проблем с безопасностью. Всё ниже — рассказ самой OpenAI.

• Охват: Control Room подключена ко всем исследовательским задачам инференса, включая агентную генерацию выборок для обучения и оценки, а также обработку данных. OpenAI требует, чтобы каждая исследовательская задача с агентным инференсом была связана с одобренным обоснованием безопасности. По словам компании, внешний стек обслуживания моделей уже централизованнее и позволяет быстро отключать развёртывания.
• Как это работает: задача получает идентификатор в Control Room и передаёт его с каждым запросом движку инференса. Прежде чем ответить, движок проверяет в Control Room, сохраняет ли задача разрешение на работу. После остановки задачи движок отклоняет все последующие запросы, поэтому генерация модели прекращается, даже если собственный код задачи продолжает выполняться.
• Скорость: OpenAI утверждает, что генерация модели прекращается в течение 35 секунд после решения остановить или приостановить задачу. Задержка связана с кэшированием проверок авторизации; OpenAI работает над тем, чтобы свести её к нулю.
• Надёжность: проверка встроена в слой инференса, а не в код рабочих нагрузок исследователей. OpenAI сообщает, что регулярно ищет движки, запущенные без Control Room, и что система работает по принципу «при сбое — запрет»: если сервис выходит из строя или отключается, все запросы на инференс отклоняются. Этот режим уже действует для всех исследовательских рабочих нагрузок с передовыми моделями, а, по словам OpenAI, в ближайшие несколько дней будет распространён и на остальные.
• Связь с мониторингом: Control Room взаимодействует с мониторами несоответствия целям OpenAI, которые могут дать ей команду остановить задачу. OpenAI сообщает, что монитор обнаружил сентябрьский инцидент с DNS, когда агент подключился к внешнему чат-боту.