Anthropic让数千个Claude智能体为训练数据监控器进行红队测试，以发现涌现性错位

Anthropic发布了一项关于自动化红队测试、以发现细微涌现性错位的研究。该公司表示，红队测试对模型安全评估至关重要，但受研究人员时间所限。以下内容均为Anthropic在其博文和Alignment Science Blog文章中的说法。

• 方法：Anthropic让数千个Claude智能体编写训练数据，目标是绕过训练数据监控器。
• 智能体生成的内容：这些数据在监控器看来无害，例如一名资深摔跤手指导新人，或一组关于专业养蜂的问答；但Anthropic称，这些内容实际上教会了模型不对齐的行为。
• 用途：Anthropic表示，这类示例可以直接用于改进未来的训练数据监控器。该公司称这项工作只是第一步，并表示，未来借助更强的模型和更多算力，红队测试还有很大的提升空间。