Anthropic, Claude가 자체 대화에서 발생할 수 있는 오용을 표시하도록 훈련했다고 밝혀

Anthropic은 ‘자체 평가’라고 부르는 안전장치를 설명했습니다. Claude는 응답 직후 대화에 대한 예비 안전성 평가를 수행해 잠재적 오용을 표시합니다. 아래 내용은 게시물과 새 Safeguards 블로그에서 밝힌 Anthropic의 설명입니다.

• 6월부터: Anthropic은 6월부터 자체 평가를 사용해 왔으며, 다른 안전장치가 포착하도록 설계되지 않은 오용 사례를 찾아냈다고 밝혔습니다.
• 효과가 있다고 보는 이유: Claude는 이미 대화를 읽었기 때문에 효율적으로 확인할 수 있습니다. 고정된 유해 행위 유형을 대상으로 하는 분류기와 달리 Claude 자체의 판단을 활용하므로, 모델이 개선될수록 더 정확해진다고 Anthropic은 말합니다.