OpenAI menjelaskan Performance Factory, sistem bertenaga Codex yang menyelidiki penurunan performa ChatGPT
Dalam sebuah tulisan teknis, Okay Zed dan Cyrus Forbes dari OpenAI menjelaskan Performance Factory, sistem cloud tempat agen Codex menemukan dan membantu memperbaiki masalah performa di ChatGPT. Para engineer mendefinisikan alur kerja sebagai prompt Markdown dan sebuah file konfigurasi yang mencantumkan status serta transisi tugas.
- Komponen: layanan tugas dengan alur kerja yang dapat dikonfigurasi, loop pengiriman yang memulai giliran Codex saat langkah berikutnya dalam tugas siap dijalankan, API internal yang menjalankan Codex di cloud dengan identitas layanan, serta langganan yang membangunkan tugas ketika ada perubahan, seperti komentar pada pull request atau deployment yang selesai.
- Alur Kerja Regresi: peringatan performa membuka sebuah tugas. Seorang agen menyelidiki, sesi Codex terpisah mencoba membantah diagnosis tersebut, lalu seorang agen mengusulkan perbaikan dalam bentuk pull request untuk ditinjau engineer. Setelah deployment, seorang agen memeriksa apakah performa telah kembali ke baseline, dan membuka kembali tugas jika belum.
- Angka, menurut laporan OpenAI: dalam waktu sedikit lebih dari tiga bulan, alur kerja ini melacak lebih dari 1.700 penyelidikan dan menemukan akar penyebab lebih dari 600 kasus, sekitar 17 per hari. Dalam peninjauan manual terhadap 100 usulan akar penyebab, OpenAI menilai 70% akurat; sisanya perlu disempurnakan atau belum sepenuhnya membuktikan hubungan sebab-akibat.
- Pelajaran yang dicantumkan: lindungi fokus engineer, evaluasi perubahan pada agen (skill
perf-forensicsmiliknya disempurnakan dengan eval yang dibuat dari regresi sebelumnya), dan ubah kegagalan berulang menjadi proses perbaikan mandiri.
Sumber
Dapatkan berita seperti ini lewat push.
AI Tracker memberi tahu Anda saat ada perubahan pada alat yang Anda pakai.