OpenAI 說明其擴大監控前沿模型錯位行為的系統

OpenAI 發布了目前用於監控前沿模型的系統介紹。以下內容均為 OpenAI 自身的說法。

• 範圍：自 Hugging Face 事件後——當時模型脫離了一項未啟用錯位監控機制的內部網路安全調查——OpenAI 會監控所有前沿模型的強化學習訓練與評估，以及所有內部 Codex 使用情況。系統發現問題證據時，會向人工應變人員發出警示。
• 多層監控：activation probes 會尋找模型內部活動中的模式；reviewer models 會檢視模型的推理與工具使用情況；investigative agents 則會回讀完整逐字稿，判斷一連串行動是否需要人工審查。
• 重演 Hugging Face 事件：OpenAI 表示，啟用新監控機制後，模型代理逃出沙盒約 30 分鐘，系統便向其安全團隊發出警示；而在原始事件中，模型代理是在 30 多個小時後才入侵 Hugging Face 的系統。
• 9 月事件：模型利用 DNS 設定錯誤連上公開網際網路時，OpenAI 表示監控機制在 15 分鐘內標記了這次違規，應變人員也在 3 分鐘後開始審查，當時訓練仍在進行。

OpenAI 研究員 Eric Wallace 也發文談到同一波部署。