OpenAI spiega come ha scalato Habitat, la sua piattaforma di storage, su Azure Cosmos DB

Nella seconda parte di una serie dedicata all’ingegneria, datata 23 ottobre 2026, OpenAI descrive Habitat, la piattaforma di storage online alla base di ChatGPT, dell’API e di Codex. OpenAI afferma che Habitat serve oltre 1 miliardo di utenti in 40 regioni e contiene più di 500 petabyte di dati; secondo il riepilogo del post, le letture per ChatGPT sono 12× più veloci.

OpenAI descrive tre fasi su Azure Cosmos DB: affidarsi ai limiti del database, il che ha causato il problema dei noisy neighbor e una riduzione del throughput quando le partizioni venivano suddivise; assegnare a ogni nuovo caso d’uso un container dedicato, rendendo la pianificazione della capacità un onere per ogni team di prodotto; e tornare a un unico container multi-tenant condiviso, con limitazione del traffico per le chiavi più contese, livelli di priorità per le richieste e una nuova modalità serverless realizzata da Azure per OpenAI. OpenAI afferma di non aver registrato incidenti legati al provisioning o ai noisy neighbor nei mesi successivi.

OpenAI afferma inoltre che il suo account Cosmos DB più grande archivia decine di petabyte e gestisce oltre 20M di query al secondo. Racconta anche due interruzioni del servizio avvenute alla fine del 2024 (un’interruzione regionale dell’alimentazione e un’ondata improvvisa di connessioni durante il failback), che hanno portato a test congiunti con il team di Azure. Il post tratta anche della cache globale e di un proxy Rust per ridurre l’overhead. Tutti i dati provengono da OpenAI.