OpenAI 研究思維鏈可監控性如何隨模型訓練而變化

OpenAI 發表了一項研究，探討思維鏈（CoT）可監控性的兩項代理指標如何在訓練生命週期中演變：無 CoT 能力（在單次前向傳遞中進行推理；能力越強，作為監控代理指標的效果越差），以及 CoT 可控性（模型依提示新增、移除或操控 CoT 的能力）。以下內容摘自其中一位研究人員的串文；完整研究報告請見 alignment.openai.com。

• 預訓練：在多項評測中，隨著基礎模型的困惑度下降，無 CoT 能力平穩提升。CoT 可控性也與較低的困惑度相關，但關聯較弱。
• 架構：在困惑度相近的三種架構中，困惑度能預測大多數無 CoT 評測的結果。在多跳規劃和序列計算上，部分架構的表現優於預測；其效能仍平穩提升，但增幅更大。
• 強化學習：在 Astra 等級的模型中，僅採用長度限制和最終答案評分進行 RL，CoT 可控性就大幅提升。在 Terra 等級的模型中，加入工具存取和工具監督後，可控性略有提升；OpenAI 表示，相較於較低的困惑度，完整的工具流程監督影響不大。
• 蒸餾：使用兩個能力相近、但可控性不同的 Astra 等級教師模型時，採用可控性較高的教師模型生成資料訓練的學生模型，其可控性也更高。OpenAI 在這一組模型中未發現可控性與規避監控之間有顯著關聯，並稱可控性是衡量對抗性規避的噪聲較大的代理指標。