OpenAI, 내부에서 모델의 정렬과 안전장치를 평가할 외부 기관 4곳과 계약
OpenAI는 독립 전문가들이 장기간 내부 모델과 시스템에 깊이 접근하는 첫 번째 단계인 ‘상주 평가’를 위해 Apollo Research, METR, Transluce, Goodfire와 계약을 체결했다고 밝혔다. 여기에는 모델 체크포인트, 소스 코드, 학습·평가 데이터, 모니터링 시스템에 대한 접근과 연구진과의 대화가 포함될 수 있다. 첫 평가에서는 학습 중 및 내부 사용 중인 모델의 정렬과 안전장치를 살펴본다. OpenAI는 11월 13일 이 발표를 공개했다.
- Apollo Research는 네 가지 주장을 검증한다. 학습 과정에서 전복 행동을 유도하지 않았다는 점, 평가와 레드팀 테스트가 그런 행동을 끌어내지 않는다는 점, 내부 사용 중인 모델이 그런 행동을 시도한 적이 없다는 점, 그리고 그와 관련된 추론을 탐지할 수 있다는 점이다.
- METR은 OpenAI가 지금까지 수행한 것 중 최대 규모의 강화 학습 실행에서 나타나는 정렬 불일치 행동을 평가한다. OpenAI는 더 광범위한 모니터 평가도 예비 합의가 이뤄졌지만, 범위 합의가 남아 있다고 밝혔다.
- Transluce는 OpenAI의 사후 학습 정렬 평가의 품질과 범위를 평가한다. 양측은 2027년 초 약 8주간 후속 평가를 진행할 의향이 있다고 밝혔다.
- Goodfire는 해석 가능성 연구자들을 상주시켜 학습 실행 모니터링, 디버깅, 정렬을 위해 모델 내부를 분석한다. 주된 대상은 OpenAI 내부 연구진이며, 조사 결과도 공개할 예정이다.
OpenAI는 평가 절차를 다음과 같이 설명한다. 민감한 정보가 필요한 평가자는 OpenAI 기기를 사용해 현장에서 작업한다. OpenAI Foundation 이사회의 안전·보안위원회는 삭제되지 않은 보고서를 받는다. 직원과의 대화는 비공개로 진행되지만, 평가자는 OpenAI가 확인한 공식 입장을 요청할 수 있다. OpenAI는 기밀 정보를 삭제하고 책임 있는 공개를 위해 공개 연기를 요청할 권리를 유지한다. 또한 Apollo Research와 Goodfire에는 결과와 무관한 비용을 지급하며, METR과 Transluce에는 지급하지 않지만 API 크레딧이나 컴퓨팅 자원을 제공할 수 있다고 공개했다.
출처
- 상주 평가의 첫 단계chatgpt
토론
- First phase of embedded assessments at OpenAIHacker News · 댓글 15개
이런 뉴스를 푸시로 받아보세요.
사용하는 도구에 변화가 생기면 AI Tracker가 알려드립니다.