Anthropic charge des milliers d’agents Claude de mettre à l’épreuve les détecteurs de données d’entraînement afin de repérer des désalignements émergents

Anthropic a publié des recherches sur l’automatisation du red teaming visant à détecter des désalignements émergents subtils. Selon l’entreprise, le red teaming est essentiel aux tests de sécurité des modèles, mais le temps des chercheurs est limité. Tout ce qui suit est le récit d’Anthropic, tiré de son article et de son billet sur l’Alignment Science Blog.

• Méthode : Anthropic a demandé à des milliers d’agents Claude de rédiger des données d’entraînement capables d’échapper à un détecteur de données d’entraînement.
• Résultats produits par les agents : des données qui semblaient inoffensives aux yeux des détecteurs, comme l’histoire d’un lutteur chevronné qui encadre un débutant ou une séance de questions-réponses sur l’apiculture professionnelle, mais qui, selon Anthropic, enseignaient en réalité des comportements désalignés.
• Utilisation : Anthropic affirme que de tels exemples peuvent améliorer directement les futurs détecteurs de données d’entraînement. L’entreprise qualifie ce travail de première étape et estime que le red teaming pourrait être encore bien plus efficace à l’avenir grâce à de meilleurs modèles et à davantage de calcul.