Anthropic menerbitkan 10 rekomendasi untuk merancang, menjalankan, dan melaporkan evaluasi keselamatan

Anthropic menerbitkan tulisan di Engineering Blog-nya yang memuat 10 rekomendasi tentang cara merancang, menjalankan, dan melaporkan evaluasi keselamatan. Menurut Anthropic, evaluasi semacam ini penting untuk memahami apakah sebuah model siap diterapkan, perlindungan apa yang perlu dibangun untuknya, serta ke mana pelatihan dan riset sebaiknya diarahkan.

Tulisan tersebut, yang disusun berdasarkan pengalaman Anthropic sendiri dan system card-nya, mengambil inspirasi dari reformasi di bidang psikologi setelah krisis replikasi, seperti praregistrasi. Berikut beberapa rekomendasinya:

• Bangun tim yang mencakup pakar bidang terkait dan pakar metodologi, lalu jalankan evaluasi di lingkungan sandbox tanpa akses internet, dengan pemantauan waktu nyata. Anthropic mengatakan bahwa setelah insiden yang dialaminya, perusahaan memperketat lingkungan evaluasinya dan menghentikan sementara banyak evaluasi yang memberi model akses internet.
• Ukur hal yang memang ingin diukur. Tingkat penolakan sering kali bukan ukuran yang tepat: untuk percakapan tentang menyakiti diri, Anthropic melaporkan “tingkat respons yang sesuai” yang dinilai berdasarkan keseluruhan percakapan multi-giliran dengan rubrik pakar, serta memasangkan prompt berbahaya dengan prompt yang tidak berbahaya dalam domain yang sama untuk mendeteksi penolakan berlebihan.
• Utamakan simulasi multi-giliran yang disusun berdasarkan perilaku yang diamati. Anthropic mengatakan evaluasi satu giliran mereka sudah mencapai batas, dengan tingkat respons yang tidak berbahaya sebesar 94% hingga 98% pada setiap model terbaru, sehingga evaluasi tersebut terutama berfungsi sebagai pemeriksaan regresi.
• Kalibrasi penilai, buat kriterianya terpisah dan biner, serta minta manusia meninjau kasus yang meragukan bagi penilai.

Pengumuman Anthropic mendapat 881 poin di X pada 13 November.