OpenAI рассказывает, как масштабировала Habitat — свою платформу хранения данных на Azure Cosmos DB

Во второй части серии об инженерных решениях от 23 октября 2026 года OpenAI рассказывает о Habitat — онлайн-платформе хранения данных, на которой работают ChatGPT, API и Codex. По данным OpenAI, Habitat обслуживает более 1 млрд пользователей в 40 регионах и хранит свыше 500 петабайт данных; в кратком пересказе публикации компания заявляет, что чтение данных для ChatGPT стало в 12 раз быстрее.

OpenAI описывает три этапа работы с Azure Cosmos DB: сначала полагались на встроенные ограничения базы данных, что приводило к эффекту «шумных соседей» и снижению пропускной способности при разделении партиций; затем выделяли отдельный контейнер для каждого нового сценария использования, из-за чего планирование ёмкости стало обременительной задачей для каждой продуктовой команды; наконец, вернулись к одному общему многопользовательскому контейнеру с ограничением нагрузки на горячие ключи, уровнями приоритета запросов и новым бессерверным режимом, который Azure разработала для OpenAI. По словам OpenAI, за прошедшие месяцы не было ни инцидентов с выделением ресурсов, ни проблем из-за «шумных соседей».

OpenAI также сообщает, что её крупнейший аккаунт Cosmos DB хранит десятки петабайт данных и обрабатывает более 20 млн запросов в секунду. Компания рассказывает о двух сбоях в конце 2024 года — региональном отключении электроэнергии и лавинообразном наплыве подключений при переключении обратно, — после которых совместно с командой Azure провели тестирование. В публикации также рассматриваются глобальное кеширование и прокси на Rust для снижения накладных расходов. Все цифры приведены самой OpenAI.