Anthropic kieruje tysiące agentów Claude do tworzenia przykładów omijających monitory danych treningowych, by wykrywać nieoczekiwaną niezgodność

Anthropic opublikowało badania nad automatyzacją red-teamingu w celu wykrywania subtelnej, nieoczekiwanej niezgodności. Firma twierdzi, że red-teaming jest kluczowy dla testowania bezpieczeństwa modeli, ale ogranicza go czas badaczy. Wszystkie poniższe informacje pochodzą z relacji samego Anthropic — wpisu firmy i publikacji na Alignment Science Blog.

• Metoda: tysiące agentów Claude otrzymały zadanie napisania danych treningowych, które omijają monitor danych treningowych.
• Co stworzyli agenci: dane wyglądające dla monitorów na nieszkodliwe, takie jak historia doświadczonego zapaśnika, który szkoli nowicjusza, lub sesja pytań i odpowiedzi o zawodowym pszczelarstwie. Anthropic twierdzi jednak, że w rzeczywistości uczyły one niezgodnych zachowań.
• Zastosowanie: Anthropic twierdzi, że takie przykłady mogą bezpośrednio poprawić przyszłe monitory danych treningowych. Firma określa tę pracę jako pierwszy krok i dodaje, że przyszły red-teaming mógłby przynieść znacznie lepsze wyniki dzięki lepszym modelom i większej mocy obliczeniowej.