OpenAI erklärt, wie das Unternehmen Habitat, seine Speicherplattform, auf Azure Cosmos DB skaliert hat

Im zweiten Teil einer am 23. Oktober 2026 veröffentlichten Engineering-Reihe beschreibt OpenAI Habitat, die Online-Speicherplattform hinter ChatGPT, der API und Codex. OpenAI zufolge bedient Habitat mehr als 1 Milliarde Nutzer in 40 Regionen und speichert über 500 Petabyte an Daten. Die Zusammenfassung des Beitrags durch OpenAI nennt zudem 12-mal schnellere Lesevorgänge für ChatGPT.

OpenAI beschreibt drei Phasen mit Azure Cosmos DB: Zunächst verließ man sich auf die Kapazitätsgrenzen der Datenbank selbst, was zu „Noisy Neighbors“ und sinkendem Durchsatz beim Aufteilen von Partitionen führte. Dann erhielt jeder neue Anwendungsfall einen eigenen Container, wodurch die Kapazitätsplanung für jedes Produktteam zur Belastung wurde. Schließlich kehrte man zu einem gemeinsam genutzten Multi-Tenant-Container zurück – mit Drosselung bei Hot Keys, Prioritätsstufen für Anfragen und einem neuen Serverless-Modus, den Azure dafür entwickelte. OpenAI zufolge gab es in den darauffolgenden Monaten keine Vorfälle mit der Bereitstellung oder „Noisy Neighbors“.

OpenAI gibt außerdem an, dass sein größtes Cosmos-DB-Konto zig Petabyte speichert und mehr als 20 Millionen Abfragen pro Sekunde verarbeitet. Zudem berichtet das Unternehmen von zwei Ausfällen Ende 2024 (einem regionalen Stromausfall und einem Ansturm auf Verbindungen während des Failbacks), die zu gemeinsamen Tests mit dem Azure-Team führten. Der Beitrag behandelt auch globales Caching und einen Rust-Proxy zur Verringerung des Overheads. Sämtliche Zahlen stammen von OpenAI selbst.