OpenAI merekrut empat kelompok eksternal untuk menilai keselarasan dan perlindungan modelnya dari dalam
OpenAI mengatakan telah menandatangani kesepakatan dengan Apollo Research, METR, Transluce, dan Goodfire untuk fase pertama "penilaian tertanam", yang memberi para pakar independen akses mendalam ke model dan sistem internalnya dalam jangka waktu panjang. Akses dapat mencakup checkpoint model, kode sumber, data pelatihan dan evaluasi, sistem pemantauan, serta diskusi dengan para peneliti. Penilaian pertama mencakup keselarasan dan perlindungan model selama pelatihan dan penggunaan internal. OpenAI menerbitkan pengumuman tersebut pada 13 November.
- Apollo Research akan menguji empat klaim: bahwa pelatihan tidak mendorong upaya menggagalkan pengawasan, bahwa evaluasi dan red teaming tidak memunculkannya, bahwa model belum pernah mencobanya dalam penggunaan internal, dan bahwa penalaran di baliknya dapat dideteksi.
- METR akan menilai perilaku yang tidak selaras dalam pelaksanaan pembelajaran penguatan terbesar OpenAI sejauh ini. OpenAI mengatakan penilaian pemantau yang lebih luas telah disepakati secara awal, tetapi masih menunggu kesepakatan tentang cakupannya.
- Transluce akan menilai kualitas dan cakupan evaluasi keselarasan pascapelatihan OpenAI. Kedua pihak mengatakan mereka berniat mengadakan penilaian lanjutan selama sekitar delapan minggu pada awal 2027.
- Goodfire akan menempatkan peneliti interpretabilitas untuk menganalisis bagian dalam model demi pemantauan, debugging, dan keselarasan pelaksanaan pelatihan. Audiens utamanya adalah para peneliti OpenAI sendiri, dan Goodfire juga akan menerbitkan temuannya.
OpenAI menjelaskan protokolnya: penilai yang membutuhkan informasi sensitif bekerja di lokasi OpenAI menggunakan perangkat OpenAI; Komite Keselamatan dan Keamanan dewan OpenAI Foundation menerima laporan tanpa penyuntingan; percakapan dengan staf bersifat tidak untuk dikutip, meski penilai dapat meminta pernyataan yang disahkan OpenAI; dan OpenAI tetap berhak menyunting informasi rahasia serta meminta penundaan pengungkapan yang bertanggung jawab. OpenAI mengungkapkan bahwa Apollo Research dan Goodfire menerima bayaran yang tidak bergantung pada hasil, sedangkan METR dan Transluce tidak menerima bayaran, meski mungkin menerima kredit API atau komputasi.
Sumber
Diskusi
- First phase of embedded assessments at OpenAIHacker News · 15 komentar
Dapatkan berita seperti ini lewat push.
AI Tracker memberi tahu Anda saat ada perubahan pada alat yang Anda pakai.