Anthropic 派出數千個 Claude 代理，針對訓練資料監控器進行紅隊測試，以偵測突現的錯位行為

Anthropic 發表了一項研究，探討如何自動化測試細微的突現錯位行為。Anthropic 表示，紅隊測試對模型安全性測試至關重要，但受限於研究人員的時間。以下內容皆為 Anthropic 根據其貼文及 Alignment Science Blog 文章所述的說法。

• 方法：Anthropic 讓數千個 Claude 代理負責撰寫能逃過訓練資料監控器偵測的訓練資料。
• 代理產出的內容：這些資料在監控器看來無害，例如資深摔角手指導新人，或關於專業養蜂的問答；但 Anthropic 表示，這些資料實際上教會了模型錯位行為。
• 用途：Anthropic 表示，這類範例可直接用來改進未來的訓練資料監控器。Anthropic 稱這項工作只是第一步，並表示未來若有更好的模型和更多運算資源，紅隊測試還能大幅改進。