Anthropic称已训练Claude在自身对话中标记可能的滥用行为

Anthropic介绍了一项名为自我评估的安全措施：Claude作出回应后，会立即对对话进行初步安全评估，标记潜在滥用行为。以下内容均为Anthropic自己的说法，来自其帖子和一篇新的Safeguards博客。

• 自6月以来：Anthropic称，自6月起便开始使用自我评估，并且该机制发现了一些其他安全措施原本无法识别的滥用行为。
• Anthropic称其有效的原因：Claude已经读过对话，因此检查起来很高效。与针对固定一系列危害的分类器不同，这项机制借助Claude自身的判断；Anthropic称，随着模型能力提升，它也会变得更加准确。