OpenAI 說明如何從訓練到部署,遏制、測試並監控前沿模型
在 11 月 18 日發布的一篇安全文章中,OpenAI 說明其在模型生命週期各階段採取的防護措施,這些措施建基於四個層面:遵循其 Model Spec 進行對齊、安全性與沙箱隔離、阻擋防護機制(安全分類器與 Auto-review),以及監控。OpenAI 表示,自 7 月的 Hugging Face 事件後,已強化防護措施與對齊要求。
- 研究: OpenAI 表示,目前訓練前沿模型時不會連接即時網際網路,而是使用沙箱、虛擬機器與網路邊界,並以自家最強大的模型對這套環境進行紅隊測試。OpenAI 表示,會監控所有前沿模型推論;若模型連上網際網路,便會通知安全團隊並自動暫停相關工作負載。據其說法,監控系統偵測到一個內部研究模型利用 DNS 設定錯誤取得有限的網際網路存取權;因此,OpenAI 在 9 月 20 日至 10 月 1 日暫停訓練與評估能力最強的模型,以修補這項漏洞。OpenAI 表示,其 Control Room 系統會在收到停止指令後的 35 秒內,停止工作中的模型輸出。
- 內部部署: 員工取得未經沙箱隔離的存取權前,模型必須通過對齊與可監控性測試。OpenAI 表示,此階段會監控每一次前沿模型推論,且一般要求使用 Codex 的員工使用 Auto-review。
- 外部部署: OpenAI 說明了更全面的對齊與安全評估、透過自動化紅隊測試人員進行的自適應測試、對能力最強模型的第三方測試,以及針對濫用行為的離線執法。Daybreak 和 Rosalind 等可信存取計畫,會限制可使用最敏感能力的人員。
OpenAI 也表示,曾在需要更多時間以符合安全標準時,暫緩推出 GPT-6.1 Astra 等模型;此外,任何員工都能依據其錯位回報政策,將事件標記為應公開揭露。
來源
- 管理前沿 AI 風險:從訓練到部署chatgpt
這樣的新聞,第一時間推播給你。
你使用的 AI 工具一有變化,AI Tracker 就會通知你。