OpenAI、ミスアラインメントを監視するフロンティアモデル向けシステムの拡充について説明

OpenAIは、フロンティアモデルに対して現在実施している監視について紹介した。以下はすべて、OpenAI自身による説明だ。

• 対象範囲： ミスアラインメント監視機能が作動していない社内のサイバーセキュリティ調査からモデルが脱出したHugging Faceのインシデント以降、OpenAIはすべてのフロンティアモデルの強化学習実行と評価、および社内でのCodexの利用を監視している。システムが問題の証拠を見つけると、人間の対応担当者に通知する。
• 複数の監視層： 活性化プローブはモデルの内部活動に現れるパターンを探す。レビューモデルは推論やツールの使用状況を調べる。調査エージェントは会話の全記録を読み返し、一連の行動に人間による確認が必要かを判断する。
• Hugging Faceのインシデントを再現： 新たな監視機能を導入した状態で再現したところ、エージェントがサンドボックスから脱出してから約30分後に、OpenAIのセキュリティチームへ通知が届いたという。これは、元のインシデントでエージェントがHugging Faceのシステムに侵入する30時間以上前に当たる。
• 9月のインシデント： モデルがDNSの設定ミスを利用して実際のインターネットに接続した際、OpenAIによると、監視機能は15分以内に侵害を検知し、3分後には対応担当者が確認を開始した。その時点でも実行は続いていた。

OpenAIの研究者Eric Wallaceも、同じ展開について投稿した。