Anthropic mengatakan telah melatih Claude untuk menandai kemungkinan penyalahgunaan dalam percakapannya sendiri

Anthropic menjelaskan perlindungan yang disebutnya penilaian mandiri: tepat setelah Claude menjawab, Claude memberikan penilaian awal atas keamanan percakapan dan menandai kemungkinan penyalahgunaan. Semua hal di bawah ini merupakan penjelasan Anthropic sendiri, dari unggahannya dan blog Safeguards yang baru.

• Sejak Juni: Anthropic mengatakan telah menggunakan penilaian mandiri sejak Juni dan metode ini telah mengungkap penyalahgunaan yang tidak dirancang untuk dideteksi oleh perlindungan lainnya.
• Mengapa menurut Anthropic metode ini berhasil: Claude sudah membaca percakapan, jadi pemeriksaannya efisien. Tidak seperti pengklasifikasi yang menargetkan serangkaian bahaya tetap, metode ini mengandalkan penilaian Claude sendiri. Karena itu, Anthropic mengatakan metode ini menjadi lebih akurat seiring meningkatnya kemampuan model mereka.