Anthropic、Claudeに自らの会話で悪用の可能性を検知するよう訓練したと発表

Anthropicは「self-assessment」と呼ぶ安全対策について説明した。Claudeは応答の直後に会話の予備的な安全性評価を行い、悪用の可能性を検知する。以下はすべて、Anthropicの投稿と新しいSafeguardsブログでの説明に基づく。

• 6月以降: Anthropicによると、6月からself-assessmentを使用しており、他の安全対策では検知できるよう設計されていなかった悪用も見つかっている。
• 効果があるとする理由: Claudeはすでに会話を読んでいるため、確認を効率よく行える。対象とする有害行為があらかじめ決まっている分類器とは異なり、Claude自身の判断を活用するため、モデルの性能向上に伴って精度も高まるとAnthropicは述べている。