OpenAI、研究インフラ全体のモデルワークロードを停止できるシステム「Control Room」について説明

OpenAIは、研究インフラ内のモデルワークロードを追跡し、安全性またはセキュリティ上の懸念が生じた場合に停止できる中央システム「Control Room」の説明を公開しました。以下はすべてOpenAI自身による説明です。

• 対象範囲： Control Roomは、トレーニングや評価のためのエージェント型サンプリング、データ処理など、あらゆる研究用推論ワークロードを連携させます。OpenAIは、エージェント型推論を行う研究ワークロードについて、安全性の審査で承認されたケースとの紐付けを義務付けています。また、外部向けのモデル提供スタックはすでにさらに一元化されており、デプロイを迅速に停止できるとしています。
• 仕組み： ジョブはControl RoomからジョブIDを受け取り、推論エンジンへの各リクエストにそのIDを渡します。回答する前に、エンジンはジョブの認可が継続しているかをControl Roomに確認します。ジョブが停止済みとマークされると、エンジンは以後のリクエストを拒否するため、ワークロード自体のコードが動き続けてもモデルの出力は止まります。
• 停止までの時間： OpenAIによると、ジョブの停止または一時停止を決定してから35秒以内にモデルの出力が止まります。この遅延は認可チェック用のキャッシュ層によるもので、OpenAIはゼロにする取り組みを進めているとしています。
• 信頼性： チェックは研究者のワークロードコードではなく、推論層に組み込まれています。OpenAIは、Control Roomを経由せずに起動されたエンジンがないか調べるための網羅的な検査を行っていると説明しています。また、システムはフェイルクローズ方式で、サービスが停止または無効化されると、すべての推論リクエストが拒否されます。フェイルクローズ方式は、すべての最先端モデルの研究ワークロードで稼働中であり、OpenAIによると、今後数日以内に残りにも適用される予定です。
• 監視との連携： Control RoomはOpenAIのミスアラインメント監視システムと連携し、監視システムからジョブの停止を指示できます。OpenAIによると、ある監視システムが、エージェントが外部のチャットボットに到達した9月のDNSインシデントを検知しました。