Anthropic, Claude’u kendi konuşmalarındaki olası kötüye kullanımı işaretleyecek şekilde eğittiğini söylüyor

Anthropic, self-assessment adını verdiği bir güvenlik önlemini anlattı: Claude yanıt verdikten hemen sonra konuşmanın ön güvenlik değerlendirmesini yaparak olası kötüye kullanımı işaretliyor. Aşağıdaki her şey, Anthropic’in kendi paylaşımından ve yeni Safeguards blog yazısından alınmıştır.

• Hazirandan beri: Anthropic, self-assessment’ı hazirandan beri kullandığını ve bu yöntemin diğer güvenlik önlemlerinin tespit etmek üzere tasarlanmadığı kötüye kullanım örneklerini ortaya çıkardığını söylüyor.
• Anthropic’e göre neden işe yarıyor: Claude konuşmayı zaten okumuş olduğundan kontrol verimli. Sabit bir zarar kategorileri kümesini hedefleyen sınıflandırıcıların aksine, Claude’un kendi muhakemesinden yararlanıyor. Anthropic, bu nedenle modelleri geliştikçe yöntemin daha isabetli hâle geldiğini söylüyor.