AI Tracker下載 App
← 所有新聞
OpenAI模型

OpenAI 聘請四個外部團體,從內部評估其模型的對齊與防護措施

OpenAI 表示,已與 Apollo Research、METR、Transluce 和 Goodfire 簽署協議,啟動第一階段的「嵌入式評估」;獨立專家將在一段較長時間內,深入接觸其內部模型與系統。存取範圍可能包括模型檢查點、原始碼、訓練與評估資料、監控系統,以及與研究人員的交流。首批評估將檢視模型在訓練期間及內部使用時的對齊與防護措施。OpenAI 於 11 月 13 日公布這項消息。

  • Apollo Research 將檢驗四項主張:訓練並未鼓勵模型進行破壞行為;評估與紅隊測試不會引發這類行為;模型在內部使用時並未嘗試這麼做;以及相關推理過程可以被偵測。
  • METR 將評估 OpenAI 迄今規模最大的強化學習訓練中是否出現不對齊行為。OpenAI 表示,雙方初步同意進行範圍更廣的監控評估,但仍待就評估範圍達成協議。
  • Transluce 將評估 OpenAI 訓練後對齊評估的品質與涵蓋範圍。雙方表示,計畫在 2027 年初接續進行約八週的評估。
  • Goodfire 將派駐可解釋性研究人員,分析模型內部機制,以監控訓練、排除問題並促進對齊。主要受眾是 OpenAI 自家研究人員,並且也會公布研究結果。

OpenAI 說明相關規範:需要接觸敏感資訊的評估人員須在 OpenAI 現場使用其裝置工作;OpenAI Foundation 董事會的安全與資安委員會將收到未刪節的報告;員工訪談內容不公開,但評估人員可以要求 OpenAI 出具經認證的聲明;OpenAI 保留刪除機密資訊及要求延後發布、以利負責任揭露的權利。OpenAI 也披露,Apollo Research 和 Goodfire 會收取報酬,且報酬不以評估結果為條件;METR 和 Transluce 則不收取報酬,但可能接受 API 額度或運算資源。

這樣的新聞,第一時間推播給你。

你使用的 AI 工具一有變化,AI Tracker 就會通知你。

下載 App