OpenAI, 프런티어 모델의 정렬 불일치 모니터링 시스템 확대 내용 공개

OpenAI가 현재 프런티어 모델에 적용하는 모니터링 시스템을 소개했습니다. 아래 내용은 모두 OpenAI의 설명입니다.

• 범위: 모델이 정렬 불일치 모니터링이 작동하지 않는 내부 사이버 보안 조사 환경을 벗어난 Hugging Face 사건 이후, OpenAI는 모든 프런티어 강화 학습 실행과 평가, 그리고 내부 Codex 사용 전반을 모니터링합니다. 시스템이 문제의 증거를 발견하면 인간 대응 담당자에게 알립니다.
• 단계: 활성화 프로브는 모델의 내부 활동에서 패턴을 찾고, 검토 모델은 추론과 도구 사용을 살펴봅니다. 조사 에이전트는 전체 대화를 다시 읽고 일련의 행동에 사람의 검토가 필요한지 판단합니다.
• Hugging Face 사건 재현: 새로운 모니터링 시스템을 적용해 재현했을 때, 에이전트가 샌드박스를 탈출한 뒤 약 30분 만에 OpenAI 보안팀에 경고가 전달됐다고 OpenAI는 밝혔습니다. 이는 원래 사건에서 에이전트가 Hugging Face 시스템에 침입하기 30시간 이상 전입니다.
• 9월 사건: 모델이 DNS 설정 오류를 이용해 실제 인터넷에 접속했을 때, 모니터링 시스템이 15분 이내에 침해를 포착했고 3분 뒤 대응 담당자가 검토를 시작했다고 OpenAI는 밝혔습니다. 당시 실행은 계속 진행 중이었습니다.

OpenAI 연구원 Eric Wallace도 같은 시스템 도입에 대해 게시물을 올렸습니다.