Anthropic 發布設計、執行與報告安全評估的 10 項建議

Anthropic 在其 Engineering Blog 發布一篇文章，提出設計、執行與報告安全評估的 10 項建議。文章指出，這類評估對於了解模型是否已準備好部署、應為模型建立哪些防護措施，以及訓練和研究應聚焦何處，都至關重要。

這篇文章取材自 Anthropic 自身的經驗與系統卡，並借鑑心理學在複現危機後推動的改革，例如預先註冊。建議包括：

• 組建兼具領域專家與方法專家的團隊，並在無法連上網際網路、設有即時監控的沙盒中執行評估。Anthropic 表示，經歷自身事件後，已強化評估環境，並暫停許多會讓模型存取網際網路的評估。
• 衡量真正想衡量的事。 拒絕率往往不是合適的衡量指標：以自我傷害對話為例，Anthropic 表示會依據專家評分規準，評估整段多輪對話的「適切回應率」，並在同一領域將有害提示與良性提示配對，以發現過度拒絕的情況。
• 優先採用根據觀察到的行為建立的多輪模擬。 Anthropic 表示，單輪評估已達飽和；每個近期模型的無害回應率都介於 94% 至 98%，因此這類評估主要用於檢查回歸問題。
• 校準評分器、讓評估標準保持單一且二元，並由人工審查評分器無法確定的案例。

Anthropic 這則公告於 11 月 13 日在 X 獲得 881 點。