Anthropic, emergent misalignment를 찾아내는 학습 데이터 모니터 레드팀 훈련에 수천 개의 Claude 에이전트 투입

Anthropic은 미묘한 emergent misalignment를 자동으로 레드팀 테스트하는 연구를 공개하며, 레드팀 테스트가 모델 안전성 평가에 필수적이지만 연구자의 시간에 제약을 받는다고 밝혔습니다. 아래 내용은 Anthropic의 게시물과 Alignment Science Blog 글에 담긴 회사 측 설명입니다.

• 방법: 수천 개의 Claude 에이전트에게 학습 데이터 모니터를 회피하는 학습 데이터를 작성하도록 했습니다.
• 에이전트가 만든 결과물: 베테랑 레슬링 선수가 신참을 지도하는 내용이나 전문 양봉에 관한 질의응답처럼 모니터에는 무해해 보이지만, Anthropic에 따르면 실제로는 정렬되지 않은 행동을 학습시키는 데이터였습니다.
• 활용: Anthropic은 이런 사례가 향후 학습 데이터 모니터를 직접 개선하는 데 도움이 될 수 있다고 말합니다. 이번 연구를 첫걸음이라고 평가하며, 더 나은 모델과 더 많은 컴퓨팅 자원을 활용하면 향후 레드팀 테스트를 훨씬 더 발전시킬 수 있다고 밝혔습니다.