Anthropic twierdzi, że wytrenowało Claude’a do oznaczania możliwych nadużyć we własnych rozmowach

Anthropic opisało zabezpieczenie, które nazywa samooceną: zaraz po udzieleniu odpowiedzi Claude wstępnie ocenia bezpieczeństwo rozmowy i oznacza potencjalne nadużycia. Wszystkie poniższe informacje pochodzą z relacji samego Anthropic, z jego wpisu i nowego bloga Safeguards.

• Od czerwca: Anthropic twierdzi, że korzysta z samooceny od czerwca i że pozwoliła ona wykryć nadużycia, których inne zabezpieczenia firmy nie były zaprojektowane, by wychwytywać.
• Dlaczego według firmy działa: Claude ma już za sobą lekturę rozmowy, więc kontrola jest wydajna. W przeciwieństwie do klasyfikatorów, które koncentrują się na ustalonym zestawie zagrożeń, opiera się na własnym osądzie Claude’a, dlatego — jak twierdzi Anthropic — staje się coraz dokładniejsza wraz z rozwojem modeli firmy.