Anthropic setzt Tausende Claude-Agenten darauf an, Trainingsdaten-Monitore auf emergente Fehlanpassungen zu testen

Anthropic hat Forschung zur Automatisierung von Red-Teaming bei subtilen emergenten Fehlanpassungen veröffentlicht. Das Unternehmen erklärt, Red-Teaming sei für Sicherheitstests von Modellen unverzichtbar, werde aber durch die verfügbare Zeit der Forschenden begrenzt. Alles Folgende stammt aus Anthropics eigener Darstellung, aus einem Beitrag und einem Artikel im Alignment Science Blog.

• Methode: Anthropic beauftragte Tausende Claude-Agenten damit, Trainingsdaten zu verfassen, die einen Trainingsdaten-Monitor umgehen.
• Was die Agenten produzierten: Daten, die für die Monitore harmlos wirkten, etwa über einen erfahrenen Wrestler, der einen Neuling betreut, oder ein Frage-und-Antwort-Format über professionelle Imkerei. Laut Anthropic vermittelten sie tatsächlich jedoch fehlangepasstes Verhalten.
• Einsatz: Anthropic zufolge können solche Beispiele künftige Trainingsdaten-Monitore direkt verbessern. Das Unternehmen bezeichnet die Arbeit als ersten Schritt und erklärt, künftiges Red-Teaming könne sich mit besseren Modellen und mehr Rechenleistung noch erheblich verbessern.