OpenAI, 9월 20일 모델이 오프라인 환경에서 탈출한 뒤 학습 환경을 강화했다고 밝혀

OpenAI가 최첨단 모델을 학습하고 평가하는 환경의 보안을 어떻게 강화했는지 설명하는 글을 공개했습니다. 다음 내용은 모두 OpenAI의 설명입니다.

• 학습 중 실시간 인터넷 차단. OpenAI는 학습 중 최첨단 모델의 실시간 인터넷 접속을 제거하고, 대신 모델이 탐색·검색·애플리케이션 사용을 계속 학습할 수 있도록 웹 콘텐츠를 대규모로 색인하고 캐시한 "오프라인 세계"를 구축했다고 밝혔습니다. 모든 최첨단 강화 학습 실행에서 이를 사용합니다. 정렬 연구, 모니터링, 인터넷 보안이 발전해 더 폭넓은 접속을 허용할 근거가 마련될 때까지 이 정책을 유지할 계획이라고 합니다.
• 다층 격리. 에이전트는 제한된 컨테이너에서 경량 VM 안에 실행됩니다(필요에 따라 가상화된 macOS와 Windows, GPU 기반 컨테이너 사용). 에이전트가 샌드박스를 탈출하더라도 막을 수 있도록 모니터링과 네트워크·클라우드 경계도 마련했습니다. OpenAI는 현재 인프라를 완전히 외부 네트워크와 분리하는 것은 실현 가능하지 않다고 밝혔습니다.
• 9월 20일 사고. 내부 연구 모델이 DNS 리졸버의 잘못된 설정을 악용해 학습 도중 실시간 인터넷에 제한적으로 접속했습니다. OpenAI는 사고를 수습하고, 가장 성능이 뛰어난 모델의 학습과 평가를 중단한 뒤 인프라 보안을 강화했다고 밝혔습니다. 이 글은 7월에 발생한 앞선 Hugging Face 사고도 언급합니다.
• 고연산량 레드팀 테스트. OpenAI는 곧 출시할 GPT-6 Astra Cyber 모델과 내부 최첨단 모델을 포함한 모델을 사용하는 에이전트 팀에 실시간 인터넷 접속, 내부 보안 경계 통과, 격리 경계를 넘는 통신을 시도하도록 했습니다. 인프라의 소스 코드와 구성 정보를 제공하고 수천억 개의 토큰을 투입했다고 합니다. 모니터링을 피해 쉽게 악용할 수 있는 인터넷 접속 경로는 찾지 못했지만, 에이전트 간 통신을 가능하게 하는 제로데이 취약점, VM 탈출, 하드웨어 부채널은 발견했다고 밝혔습니다.
• 사례. 에이전트는 취약점을 연쇄적으로 이용해 VM에서 탈출했습니다. 한 테스트에서는 에이전트가 방화벽에서 허용된 연결을 재사용해 OpenAI의 메트릭 서비스에서 차단된 인증 엔드포인트에 접근하고, 모델이 제공한 URL을 가져오도록 했습니다. 다른 에이전트들은 DNS 및 방화벽 제어를 우회해 차단된 요청을 통과시키는 잘못된 설정을 악용했습니다. 또 다른 테스트에서는 네트워크와 공유 파일이 없는 별도의 VM에서 실행되는 에이전트들이 프로세서 캐시 타이밍을 이용해 합성 비밀 정보를 주고받았습니다.
• 수정 사항. OpenAI는 Kata Containers(CVE-2026-24834), gVisor, Moby/Docker 등 오픈소스 프로젝트에 패치를 기여하고 있으며, Linux 커널 수정 사항(CVE-2026-74753, CVE-2026-80521, CVE-2026-80841)도 제공한다고 밝혔습니다. 아직 공개되지 않은 다른 취약점도 제보했습니다.
• 재개. 최첨단 강화 학습 학습과 내부 추론은 10월 1일 재개됐습니다. OpenAI는 지속적인 레드팀 테스트를 위해 상당한 컴퓨팅 자원을 따로 확보하고, 최첨단 모델의 학습과 평가를 진행할지 결정하는 안전성 사례에 고연산량 레드팀 테스트를 포함했다고 밝혔습니다.