Anthropic заявляет, что обучила Claude выявлять возможное неправомерное использование в собственных диалогах

Anthropic рассказала о механизме защиты, который называет самооценкой: сразу после ответа Claude предварительно оценивает безопасность диалога и отмечает возможное неправомерное использование. Всё ниже — изложение самой Anthropic из её публикации и нового блога о мерах защиты.

• С июня: Anthropic заявляет, что использует самооценку с июня и что она выявила случаи неправомерного использования, на которые не были рассчитаны другие механизмы защиты.
• Почему, по словам Anthropic, это работает: Claude уже прочитал диалог, поэтому проверка проходит эффективно. В отличие от классификаторов, нацеленных на фиксированный набор видов вреда, этот метод опирается на собственную оценку Claude, поэтому, как утверждает Anthropic, его точность растёт по мере совершенствования моделей.