Anthropic, beliren uyumsuzluğa yönelik eğitim verisi monitörlerini kırmızı takım testine tabi tutmaları için binlerce Claude ajanı görevlendirdi

Anthropic, incelikli beliren uyumsuzluğa yönelik kırmızı takım testini otomatikleştirme üzerine bir araştırma yayımladı ve kırmızı takım testinin model güvenliği değerlendirmeleri için hayati olduğunu, ancak araştırmacıların zamanıyla sınırlı kaldığını söyledi. Aşağıdakilerin tümü, Anthropic’in kendi gönderisinden ve Alignment Science Blog yazısından aktardığı bilgilerdir.

• Yöntem: Binlerce Claude ajanına, bir eğitim verisi monitörünü atlatan eğitim verileri yazma görevi verdi.
• Ajanların ürettikleri: Monitörlere zararsız görünen, örneğin deneyimli bir güreşçinin yeni başlayana mentorluk etmesi veya profesyonel arıcılık hakkında bir soru-cevap gibi veriler; ancak Anthropic’e göre bu veriler aslında uyumsuz davranışlar öğretiyordu.
• Kullanım: Anthropic, bu tür örneklerin gelecekteki eğitim verisi monitörlerini doğrudan iyileştirebileceğini söylüyor. Çalışmayı ilk adım olarak nitelendiriyor ve daha iyi modeller ile daha fazla hesaplama gücüyle gelecekteki kırmızı takım testlerinin çok daha fazla geliştirilebileceğini belirtiyor.