OpenAI, 프런티어 모델의 학습부터 배포까지 위험을 억제하고 시험하며 모니터링하는 방법을 설명
11월 18일자 안전 관련 게시물에서 OpenAI는 모델의 수명 주기 각 단계에 적용하는 보호 조치를 설명합니다. 여기에는 네 가지 계층이 있습니다. Model Spec에 맞춘 정렬, 보안 및 샌드박싱, 차단 보호 장치(안전 분류기와 Auto-review), 모니터링입니다. OpenAI는 7월 Hugging Face 사고 이후 보호 조치와 정렬 요건을 강화했다고 밝혔습니다.
- 연구: OpenAI는 이제 샌드박스, 가상 머신, 네트워크 경계를 활용해 인터넷에 실시간으로 연결되지 않은 상태에서 프런티어 모델을 학습시키며, 자체 최강 모델로 해당 설정을 레드팀 테스트한다고 밝혔습니다. 모든 프런티어 추론을 모니터링하고 모델이 인터넷에 접속하면 보안팀에 알림을 보내며 작업을 자동 일시 중지한다고 합니다. 모니터링 시스템은 내부 연구 모델이 DNS 설정 오류를 이용해 제한적으로 인터넷에 접속한 사실을 감지했으며, OpenAI는 문제를 해결하는 동안 9월 20일부터 10월 1일까지 가장 성능이 뛰어난 모델의 학습과 평가를 중단했다고 밝혔습니다. OpenAI에 따르면 Control Room 시스템은 중지 지시가 내려진 뒤 35초 이내에 작업의 모델 출력을 멈춥니다.
- 내부 배포: 직원이 샌드박스 밖에서 모델에 접근하려면 먼저 정렬 및 모니터링 가능성 테스트를 통과해야 합니다. OpenAI는 이 단계에서 모든 프런티어 추론을 모니터링하며, 일반적으로 Codex를 사용하는 직원에게 Auto-review를 요구한다고 밝혔습니다.
- 외부 배포: OpenAI는 더 폭넓은 정렬 및 안전성 평가, 자동 레드팀을 활용한 적응형 테스트, 가장 성능이 뛰어난 모델에 대한 제3자 테스트, 오프라인 악용 방지 조치 등을 설명합니다. Daybreak와 Rosalind 같은 신뢰된 접근 프로그램은 가장 민감한 기능을 사용할 수 있는 대상을 제한합니다.
OpenAI는 또한 안전 기준을 충족하기 위해 더 많은 시간이 필요했을 때 GPT-6.1 Astra 같은 모델의 출시를 보류했으며, 직원 누구나 정렬 실패 보고 정책에 따라 사고의 공개를 요청할 수 있다고 밝혔습니다.
출처
- 프런티어 AI 위험 관리: 학습부터 배포까지chatgpt
이런 뉴스를 푸시로 받아보세요.
사용하는 도구에 변화가 생기면 AI Tracker가 알려드립니다.