OpenAI, 모델 학습 과정에서 사고 연쇄 모니터링 가능성이 어떻게 달라지는지 연구

OpenAI는 학습 전 과정에서 사고 연쇄(CoT) 모니터링 가능성을 보여주는 두 가지 대리 지표가 어떻게 변하는지 연구한 결과를 발표했습니다. 두 지표는 CoT 없이 수행하는 능력(한 번의 순전파로 추론하는 능력으로, 수치가 높을수록 모니터링 대리 지표로서의 성능이 나쁨)과 CoT 제어 가능성(프롬프트를 받았을 때 모델이 CoT를 추가·삭제·조작하는 능력)입니다. 아래 내용은 연구진 중 한 명이 올린 스레드에서 가져왔으며, 전체 글은 alignment.openai.com에서 볼 수 있습니다.

• 사전 학습: 여러 평가에서 기본 모델의 퍼플렉시티가 낮아질수록 CoT 없이 수행하는 능력이 꾸준히 향상됩니다. CoT 제어 가능성도 퍼플렉시티가 낮을수록 높아지는 상관관계가 있지만, 그 정도는 더 약합니다.
• 아키텍처: 퍼플렉시티가 같은 세 가지 아키텍처를 비교했을 때, 퍼플렉시티는 대부분의 CoT 비사용 평가 결과를 예측합니다. 다중 홉 계획 및 직렬 계산에서는 일부 아키텍처가 예측을 웃돌았으며, 성능은 여전히 매끄럽게, 다만 더 가파르게 향상됐습니다.
• 강화 학습: Astra급 모델에서는 길이 제한과 최종 답변 채점만 적용한 RL 과정에서 CoT 제어 가능성이 크게 높아졌습니다. Terra급 모델에서는 도구 사용 권한과 도구 감독을 추가하자 제어 가능성이 소폭 상승했습니다. OpenAI는 퍼플렉시티가 더 낮은 것에 비하면 도구 사용 과정 전체에 대한 감독의 영향은 작다고 말합니다.
• 증류: 역량은 비슷하지만 제어 가능성은 다른 Astra급 교사 모델 두 개를 사용했을 때, 제어 가능성이 더 높은 교사 모델의 롤아웃으로 학습한 학생 모델은 제어 가능성도 더 높아졌습니다. OpenAI는 이 두 모델에서 제어 가능성과 모니터링 회피 사이에 의미 있는 연관성을 찾지 못했으며, 제어 가능성은 적대적 회피를 나타내는 잡음이 많은 대리 지표라고 설명합니다.