OpenAI legt uit hoe het Habitat, zijn opslagplatform, heeft opgeschaald op Azure Cosmos DB

In het tweede deel van een technische serie, gedateerd op 23 oktober 2026, beschrijft OpenAI Habitat, het onlineopslagplatform achter ChatGPT, de API en Codex. OpenAI zegt dat Habitat meer dan 1 miljard gebruikers in 40 regio’s bedient en meer dan 500 petabyte aan data bevat. Volgens OpenAI’s samenvatting van het artikel leest ChatGPT 12× sneller.

OpenAI beschrijft drie fasen op Azure Cosmos DB: vertrouwen op de eigen limieten van de database, wat leidde tot noisy neighbors en een dalende doorvoer bij het splitsen van partities; voor elke nieuwe toepassing een eigen container gebruiken, waardoor capaciteitsplanning een last werd voor elk productteam; en terugkeren naar één gedeelde multi-tenantcontainer, met throttling voor hot keys, prioriteitsniveaus voor aanvragen en een nieuwe serverless modus die Azure hiervoor heeft gebouwd. OpenAI zegt dat er sindsdien in de afgelopen maanden geen incidenten met provisioning of noisy neighbors zijn geweest.

OpenAI zegt ook dat het grootste Cosmos DB-account tientallen petabytes opslaat en meer dan 20M queries per seconde verwerkt. Het beschrijft twee storingen eind 2024 (een regionale stroomstoring en een verbindingsstorm tijdens failback), die leidden tot gezamenlijke tests met het Azure-team. Het artikel gaat ook in op wereldwijde caching en een Rust-proxy om de overhead te beperken. Alle cijfers zijn afkomstig van OpenAI zelf.