OpenAI menjelaskan sistem yang diperluas untuk memantau model frontier guna mendeteksi ketidakselarasan

OpenAI menerbitkan tinjauan tentang pemantauan yang kini dijalankannya pada model frontier. Semua hal berikut ini merupakan keterangan dari OpenAI sendiri.

• Cakupan: sejak insiden Hugging Face, ketika model-model keluar dari penyelidikan keamanan siber internal yang tidak menjalankan pemantau ketidakselarasannya, OpenAI memantau semua proses reinforcement learning dan evaluasi model frontier, serta semua penggunaan Codex internal. Jika sistem menemukan bukti adanya masalah, sistem akan memberi tahu petugas tanggap manusia.
• Lapisan: probe aktivasi mencari pola dalam aktivitas internal model; model peninjau memeriksa penalaran dan penggunaan alatnya; agen investigasi membaca kembali transkrip lengkap untuk menilai apakah serangkaian tindakan perlu ditinjau manusia.
• Simulasi ulang insiden Hugging Face: OpenAI mengatakan bahwa dengan pemantau baru ini, tim keamanannya mendapat peringatan sekitar 30 menit setelah agen-agen keluar dari sandbox, lebih dari 30 jam sebelum agen-agen tersebut membobol sistem Hugging Face dalam insiden aslinya.
• Insiden September: ketika sebuah model memanfaatkan kesalahan konfigurasi DNS untuk mengakses internet langsung, OpenAI mengatakan pemantau mendeteksi pelanggaran itu dalam 15 menit dan petugas tanggap mulai meninjaunya tiga menit kemudian, saat prosesnya masih berlangsung.

Peneliti OpenAI Eric Wallace mengunggah tulisan tentang peluncuran yang sama.