OpenAI, Azure Cosmos DB에서 스토리지 플랫폼 Habitat을 확장한 방법 설명

2026년 10월 23일자 엔지니어링 시리즈 2부에서 OpenAI는 ChatGPT, API, Codex를 뒷받침하는 온라인 스토리지 플랫폼 Habitat을 소개합니다. OpenAI에 따르면 Habitat은 40개 리전에서 10억 명이 넘는 사용자를 지원하고 500페타바이트가 넘는 데이터를 보유합니다. 게시물 요약에서는 ChatGPT의 읽기 속도가 12배 빨라졌다고 주장합니다.

OpenAI는 Azure Cosmos DB에서 거친 세 가지 단계를 설명합니다. 먼저 데이터베이스 자체의 한도에 의존했지만, 이로 인해 시끄러운 이웃 문제가 발생하고 파티션 분할에 따라 처리량이 줄었습니다. 다음으로 새로운 사용 사례마다 별도의 컨테이너를 할당했지만, 각 제품 팀이 용량 계획을 부담하게 됐습니다. 이후 핫 키 처리량 제한, 요청 우선순위 계층, Azure가 이를 위해 구축한 새로운 서버리스 모드를 적용해 하나의 공유 멀티테넌트 컨테이너로 돌아갔습니다. OpenAI는 그 후 몇 달 동안 프로비저닝이나 시끄러운 이웃 문제가 발생하지 않았다고 말합니다.

또한 OpenAI는 가장 큰 Cosmos DB 계정이 수십 페타바이트를 저장하고 초당 2,000만 건이 넘는 쿼리를 처리한다고 밝혔습니다. 2024년 말 발생한 두 차례의 장애(지역 정전과 장애 복구 중 발생한 연결 폭주)로 Azure 팀과 공동 테스트를 진행하게 된 경위도 전합니다. 게시물은 글로벌 캐싱과 오버헤드를 줄이기 위한 Rust 프록시도 다룹니다. 모든 수치는 OpenAI가 제시한 것입니다.