Anthropic 表示,已訓練 Claude 在自身對話中標記可能的濫用情形
Anthropic 介紹了一項名為「自我評估」的防護措施:Claude 回應後會立即對對話進行初步安全評估,並標記可能的濫用情形。以下內容皆為 Anthropic 自身的說法,來自其貼文與一篇新的 Safeguards 部落格文章。
- 自 6 月起:Anthropic 表示,自 6 月起便使用自我評估,並稱此機制揭露了其他防護措施原本無法偵測的濫用情形。
- Anthropic 認為此方法有效的原因:Claude 已經讀過對話,因此檢查起來很有效率。不同於針對固定傷害類型的分類器,這項方法運用 Claude 自身的判斷力,因此 Anthropic 表示,隨著模型進步,準確度也會提高。
來源
這樣的新聞,第一時間推播給你。
你使用的 AI 工具一有變化,AI Tracker 就會通知你。