OpenAI explica como escalou o Habitat, sua plataforma de armazenamento, no Azure Cosmos DB

Na segunda parte de uma série de engenharia, datada de 23 de outubro de 2026, a OpenAI descreve o Habitat, a plataforma de armazenamento online que dá suporte ao ChatGPT, à API e ao Codex. A OpenAI afirma que o Habitat atende a mais de 1 bilhão de usuários em 40 regiões e armazena mais de 500 petabytes de dados; segundo o resumo da publicação, as leituras do ChatGPT ficaram 12× mais rápidas.

A OpenAI descreve três fases no Azure Cosmos DB: depender dos próprios limites do banco de dados, o que causava disputa por recursos e redução da capacidade conforme as partições eram divididas; dar a cada novo caso de uso seu próprio contêiner, o que tornou o planejamento de capacidade um fardo para cada equipe de produto; e voltar a um único contêiner multi-inquilino compartilhado, com limitação de taxa para chaves quentes, níveis de prioridade de solicitações e um novo modo sem servidor criado pelo Azure para esse fim. A OpenAI afirma que, nos meses seguintes, não houve incidentes de provisionamento nem de disputa por recursos.

A OpenAI também afirma que sua maior conta do Cosmos DB armazena dezenas de petabytes e atende a mais de 20 milhões de consultas por segundo, além de relatar duas interrupções no fim de 2024 (uma falha de energia regional e uma avalanche de conexões durante a retomada após failback), que levaram a testes conjuntos com a equipe do Azure. A publicação também aborda o cache global e um proxy em Rust para reduzir a sobrecarga. Todos os números são da própria OpenAI.