Anthropic 发布设计、运行和报告安全评估的 10 条建议

Anthropic 在其工程博客上发布了一篇文章，提出了设计、运行和报告安全评估的 10 条建议。文章称，这类评估对于了解模型是否已准备好部署、应为其构建哪些防护措施，以及应将训练和研究重点放在哪里，至关重要。

这篇文章借鉴了 Anthropic 自身的经验和系统卡（system cards），也参考了心理学在复制危机后进行的改革，例如预注册。建议包括：

• 团队应同时具备领域和方法学专家；评估应在无法访问互联网的沙盒环境中进行，并实施实时监控。Anthropic 表示，在发生自身事故后，它加强了评估环境的安全性，并暂停了许多允许模型访问互联网的评估。
• 衡量真正想衡量的内容。 拒答率往往不是合适的衡量指标：对于自残对话，Anthropic 表示，它报告的是“恰当回应率”，依据专家量表对完整的多轮对话进行评判；同时，它会在同一领域将有害提示与无害提示配对，以发现过度拒答。
• 优先采用基于观察到的行为构建的多轮模拟。 Anthropic 表示，其单轮评估已接近饱和：每个近期模型的无害回应率都达到 94% 至 98%，因此这类评估主要用于回归检查。
• 校准评分器，确保评判标准明确且为二元标准，并让人工审核评分器不确定的案例。

Anthropic 于 11 月 13 日发布的公告在 X 上获得了 881 分。