OpenAI menjelaskan cara menskalakan Habitat, platform penyimpanannya, di Azure Cosmos DB

Dalam bagian kedua dari seri rekayasa yang bertanggal 23 Oktober 2026, OpenAI menguraikan Habitat, platform penyimpanan online di balik ChatGPT, API, dan Codex. OpenAI menyebut Habitat melayani lebih dari 1 miliar pengguna di 40 wilayah dan menyimpan lebih dari 500 petabita data, serta menyatakan bahwa ringkasan artikelnya mengklaim pembacaan 12× lebih cepat untuk ChatGPT.

OpenAI menguraikan tiga fase penggunaan Azure Cosmos DB: mengandalkan batasan bawaan basis data, yang menyebabkan noisy neighbor dan throughput menyusut saat partisi dipecah; memberi setiap kasus penggunaan baru containernya sendiri, sehingga perencanaan kapasitas menjadi beban bagi setiap tim produk; lalu kembali ke satu container multi-tenant bersama dengan pembatasan hot key, tingkatan prioritas permintaan, dan mode serverless baru yang dibuat Azure untuk OpenAI. OpenAI mengatakan tidak mengalami insiden penyediaan kapasitas maupun noisy neighbor selama beberapa bulan terakhir.

OpenAI juga menyebut akun Cosmos DB terbesarnya menyimpan puluhan petabita dan melayani lebih dari 20 juta kueri per detik, serta menceritakan dua gangguan pada akhir 2024 (kegagalan daya regional dan lonjakan koneksi saat failback) yang mendorong pengujian bersama tim Azure. Artikel tersebut juga membahas caching global dan proxy Rust untuk mengurangi overhead. Semua angka berasal dari OpenAI sendiri.