Anthropic, güvenlik değerlendirmelerini tasarlama, yürütme ve raporlama için 10 öneri yayımladı

Anthropic, Engineering Blog’unda güvenlik değerlendirmelerinin nasıl tasarlanacağı, yürütüleceği ve raporlanacağına ilişkin 10 öneri içeren bir yazı yayımladı. Şirket, bu tür değerlendirmelerin bir modelin kullanıma sunulmaya hazır olup olmadığını, model için hangi koruma önlemlerinin oluşturulması gerektiğini ve eğitim ile araştırmada hangi alanlara odaklanılacağını anlamak açısından kritik olduğunu söylüyor.

Anthropic’in kendi deneyimlerinden ve sistem kartlarından yola çıkan yazı, ön kayıt gibi, psikolojinin tekrarlanabilirlik krizinin ardından yaptığı reformlardan yararlanıyor. Önerilerden bazıları şöyle:

• Ekibi hem alan hem de yöntem uzmanlarından oluşturun ve değerlendirmeleri internet erişimi olmayan, gerçek zamanlı izlenen bir korumalı ortamda yürütün. Anthropic, kendi yaşadığı olayların ardından değerlendirme ortamlarını daha sıkı güvenlik önlemleriyle donattığını ve modellere internet erişimi sağlayan pek çok değerlendirmeyi duraklattığını söylüyor.
• Ölçmek istediğiniz şeyi ölçün. Reddetme oranı çoğu zaman yanlış ölçüttür: Kendine zarar verme konulu konuşmalarda Anthropic, tüm çok turlu konuşmanın uzman ölçütlerine göre değerlendirilmesiyle belirlenen “uygun yanıt oranı”nı raporluyor; aşırı reddetmeyi tespit etmek için de aynı alandaki zararlı istemleri zararsız olanlarla eşleştiriyor.
• Gözlemlenen davranışlardan oluşturulan çok turlu simülasyonları tercih edin. Anthropic, tek turlu değerlendirmelerinin artık ayırt edici olmadığını söylüyor: Son dönemdeki tüm modeller zararsız yanıt oranlarında %94 ila %98’e ulaşıyor; bu nedenle bu değerlendirmeler çoğunlukla regresyon kontrolleri olarak işlev görüyor.
• Değerlendiricileri kalibre edin, ölçütleri tek tek ve ikili sonuç verecek şekilde belirleyin, değerlendiricinin emin olmadığı durumları da insanların incelemesini sağlayın.

Anthropic’in duyurusu 13 Kasım’da X’te 881 puan aldı.