Anthropic zet duizenden Claude-agents in om monitors voor trainingsdata op emergente misalignment te testen

Anthropic publiceerde onderzoek naar het automatiseren van red-teaming voor subtiele emergente misalignment. Het bedrijf zegt dat red-teaming essentieel is voor het testen van modelveiligheid, maar wordt beperkt door de beschikbare onderzoekstijd. Alles hieronder is Anthropic's eigen weergave, uit de blogpost en het artikel op de Alignment Science Blog.

• Methode: het gaf duizenden Claude-agents de opdracht trainingsdata te schrijven die een monitor voor trainingsdata omzeilt.
• Wat de agents produceerden: data die onschuldig leek voor de monitors, zoals een ervaren worstelaar die een nieuwkomer begeleidt of een vraag-en-antwoordsessie over professioneel bijenhouden, maar volgens Anthropic in werkelijkheid misaligned gedrag aanleerde.
• Gebruik: Anthropic zegt dat zulke voorbeelden toekomstige monitors voor trainingsdata rechtstreeks kunnen verbeteren. Het noemt het werk een eerste stap en zegt dat red-teaming in de toekomst veel verder kan worden verbeterd met betere modellen en meer rekenkracht.