Anthropic、創発的なミスアラインメントを検知する訓練データモニターのレッドチームテストに数千のClaudeエージェントを投入

Anthropicは、微妙な創発的ミスアラインメントに対するレッドチームテストを自動化する研究を発表した。レッドチームテストはモデルの安全性評価に不可欠だが、研究者の時間に制約されると説明している。以下はすべて、Anthropicの投稿とAlignment Science Blogの記事に基づく同社自身の説明だ。

• 手法： 数千のClaudeエージェントに、訓練データモニターをすり抜ける訓練データを書くよう指示した。
• エージェントが作成したもの： ベテランレスラーが新人を指導する内容や、プロの養蜂に関するQ&Aなど、モニターには無害に見えるデータ。しかしAnthropicによると、実際にはミスアラインメントを起こした振る舞いを教えるものだった。
• 活用方法： Anthropicは、こうした例を将来の訓練データモニターの改善に直接活用できるとしている。同社は今回の研究を第一歩と位置づけ、より優れたモデルと多くの計算資源を活用すれば、今後のレッドチームテストはさらに大きく改善できると述べている。