OpenAI 研究思维链可监控性在模型训练过程中的变化

OpenAI 发布了一项研究，探讨思维链（CoT）可监控性的两个代理指标如何随训练进程变化：无 CoT 能力（在一次前向传播中进行推理；数值越高，作为监控代理指标的效果越差）和 CoT 可控性（模型根据提示添加、删除或操纵其 CoT 的能力）。以下内容摘自一位研究人员发布的帖子串；完整报告见 alignment.openai.com。

• 预训练：在多项评测中，随着基础模型困惑度降低，无 CoT 能力稳步提升。CoT 可控性也与较低的困惑度相关，但相关性较弱。
• 架构：在三种困惑度相当的架构中，困惑度可以预测大多数无 CoT 评测结果。在多跳规划和串行计算方面，部分架构的表现优于预测值，但性能仍平稳提升，且增幅更大。
• 强化学习：在一款 Astra 级模型中，仅使用长度限制和最终答案评分进行强化学习，就使 CoT 可控性大幅提升。在一款 Terra 级模型中，加入工具访问权限和工具监督后，可控性略有提升；OpenAI 表示，与较低困惑度相比，完整的工具过程监督影响不大。
• 蒸馏：研究使用了两款能力大致相当、但可控性不同的 Astra 级教师模型。基于可控性更高的教师模型生成的轨迹训练后，学生模型的可控性也更高。OpenAI 未发现这组模型的可控性与规避监控之间存在有意义的关联，并称可控性只是衡量对抗性规避的一个噪声较大的代理指标。