AI TrackerUnduh
← Semua berita
OpenAIModelCoding

OpenAI melaporkan bahwa kini agen pengodeannya menyelesaikan hampir separuh tugas riset berdurasi dua hingga empat jam tanpa bantuan

Dalam laporan bertanggal 18 November, OpenAI membagikan pengukuran internal tentang perubahan yang dibawa agen pengodean terhadap riset AI-nya, sebagai pembaruan atas laporan September. OpenAI menyebut peningkatannya "tidak merata" dan mengatakan manusia tetap menjadi bagian penting dari pekerjaan tersebut.

  • Keberhasilan tugas: OpenAI memperkirakan tingkat keberhasilan agen tanpa campur tangan manusia meningkat dari Maret hingga Oktober, dari 23% menjadi 46% untuk tugas yang akan memakan waktu dua hingga empat jam bagi manusia, dan dari 13% menjadi 35% untuk tugas berdurasi empat hingga delapan jam. Menurut jenis tugas, tingkat keberhasilannya mencapai 79% untuk memantau proses pelatihan, 72% untuk menjawab pertanyaan teknis, 35% untuk memulai proses pelatihan, 29% untuk membangun lingkungan evaluasi dan agen, serta 25% untuk menulis kode inferensi dan penyajian.
  • Penggunaan: dengan harga daftar API, penggunaan agen harian oleh peneliti median mencapai $2.400 pada Oktober (naik 62% dari September), sementara persentil ke-90 mencapai $23.000 (naik 105%). Hari kerja agen per peneliti meningkat dari 0,5 menjadi 5,7. OpenAI mengatakan nilai setara API dari penggunaan agen kira-kira dua kali lipat gaji peneliti di luar ekuitas per September, sedangkan penerapan internal menghabiskan 2% komputasi riset.
  • Survei: dalam survei terhadap 101 staf riset, nilai median yang bersedia mereka korbankan adalah 40% jumlah anggota tim atau 30% komputasi tim demi mempertahankan akses ke agen pengodean terdepan selama tiga bulan. Dalam survei yang lebih kecil, 27 dari 28 responden memperkirakan mereka akan lebih produktif dengan model internal terbaru dibandingkan dengan insinyur riset berpengalaman menengah ditambah model 2024.
  • Gagasan: para peneliti mengatakan bahwa manusia mencetuskan gagasan utama di balik GPT-6 Astra dan GPT-6.2 Astra, sementara model membantu menerapkannya. Beberapa peneliti prapelatihan mengatakan Codex membantu mengembangkan gagasan untuk GPT-6.2 Astra.
  • Keselamatan: OpenAI mengatakan pekerjaan Keselamatan dan Penyelarasan yang terdokumentasi meningkat 77% dari Januari hingga September, kenaikan terbesar di antara semua bidang riset, dengan peningkatan yang dimulai setelah insiden Hugging Face pada Juli.

OpenAI mengatakan laporan ini dimaksudkan untuk mendukung pelacakan publik atas indikator peningkatan diri rekursif, dan tidak seharusnya dibaca sebagai niat untuk mengejarnya. Angka-angka tersebut merupakan perkiraan OpenAI sendiri, dan OpenAI mencatat bahwa data delegasi tugas serta laporan mandirinya memiliki keterbatasan.

Dapatkan berita seperti ini lewat push.

AI Tracker memberi tahu Anda saat ada perubahan pada alat yang Anda pakai.

Unduh aplikasinya