Anthropic mengerahkan ribuan agen Claude untuk menguji ketahanan monitor data pelatihan terhadap misalignment yang muncul

Anthropic menerbitkan riset tentang otomatisasi red-teaming untuk misalignment laten yang muncul. Anthropic menyebut red-teaming penting untuk pengujian keamanan model, tetapi terbatas oleh waktu peneliti. Semua informasi di bawah ini berasal dari penuturan Anthropic sendiri, dalam unggahannya dan tulisan di Alignment Science Blog.

• Metode: Anthropic memberi ribuan agen Claude tugas menulis data pelatihan yang dapat mengelabui monitor data pelatihan.
• Hasil yang dibuat agen: data yang tampak tidak berbahaya bagi monitor, seperti pegulat veteran yang membimbing pendatang baru atau sesi tanya jawab tentang peternakan lebah profesional, tetapi menurut Anthropic sebenarnya mengajarkan perilaku misaligned.
• Kegunaan: Anthropic mengatakan contoh seperti ini dapat langsung meningkatkan monitor data pelatihan di masa mendatang. Anthropic menyebut penelitian ini langkah pertama dan mengatakan red-teaming di masa mendatang dapat ditingkatkan jauh lebih lanjut dengan model yang lebih baik dan komputasi yang lebih besar.