Agents API OpenAI menambahkan fungsi asinkron dan kontrol anggaran per sesi dalam versi beta

Seorang engineer di tim Agents API OpenAI mencantumkan penambahan terbaru tim:

• Fungsi asinkron. Agen dapat terus bekerja setelah memanggil alat, tanpa menunggu hasilnya—misalnya, untuk memulai pencarian yang lambat lebih awal, menjawab bagian-bagian permintaan yang tidak saling bergantung, dan mengembalikan hasil saat aplikasi memilikinya.
• Kontrol anggaran (beta). Batasi, pantau, dan kendalikan anggaran agen per sesi, sehingga satu pelanggan tidak dapat menghabiskan semua token di sebuah akun. Akses dapat diminta kepada engineer tersebut.
• Cache prompt 12 jam. Prompt dapat tetap tersimpan dalam cache selama 12 jam; menurut engineer tersebut, pelanggan dengan agen personal dan yang berjalan lama telah merasakan penghematan dari fitur ini.

Engineer tersebut meminta masukan tentang fitur yang diinginkan untuk minggu depan.