OpenAI、モデルの学習過程で思考連鎖の監視可能性がどう変化するかを調査

OpenAIは、思考連鎖（CoT）の監視可能性を測る2つの代理指標が、学習ライフサイクルを通じてどう変化するかについての研究を発表しました。指標は、CoTを使わない能力（単一の順伝播で推論する能力。値が高いほど、監視の代理指標としては不適切）と、CoTの制御可能性（プロンプトに応じてCoTを追加、削除、操作するモデルの能力）です。以下は研究者の一人が投稿したスレッドに基づく内容で、論文の全文はalignment.openai.comで読めます。

• 事前学習： 多数の評価で、ベースモデルのパープレキシティが下がるにつれ、CoTを使わない能力は滑らかに向上します。CoTの制御可能性も、より弱い相関ながら、パープレキシティの低下と相関します。
• アーキテクチャ： パープレキシティをそろえた3つのアーキテクチャを比較すると、パープレキシティがCoTを使わない能力の評価結果の大半を予測します。マルチホップ計画や逐次計算では、一部のアーキテクチャが予測を上回り、性能は引き続き滑らかに向上するものの、傾きはより大きくなります。
• 強化学習： Astraクラスのモデルでは、長さの制約と最終回答の採点だけを用いたRLの間に、CoTの制御可能性が大幅に上昇しました。Terraクラスのモデルでは、ツールへのアクセスとツール使用の監督を加えると、制御可能性はわずかに上昇しました。OpenAIによると、ツール使用プロセス全体の監督は、パープレキシティの低下と比べると重要性が小さいとのことです。
• 蒸留： 能力はほぼ同等だが制御可能性が異なる2つのAstraクラスの教師モデルを使ったところ、制御可能性の高い教師モデルのロールアウトで学習した生徒モデルは、制御可能性が高まりました。この組み合わせでは、制御可能性と監視の回避に意味のある関連は見られなかったとしており、OpenAIは制御可能性を敵対的な回避行動のノイズが多い代理指標と位置づけています。