Anthropic опубликовала 10 рекомендаций по разработке, проведению и описанию оценок безопасности

Anthropic опубликовала в инженерном блоге пост с 10 рекомендациями по разработке, проведению и описанию оценок безопасности. По словам компании, такие оценки крайне важны, чтобы понять, готова ли модель к развёртыванию, какие меры защиты для неё нужны и на чём сосредоточить обучение и исследования.

В посте, основанном на опыте самой Anthropic и её системных карточках, используются идеи реформ в психологии после кризиса воспроизводимости, например предварительная регистрация исследований. Среди рекомендаций:

• Сформируйте команду из экспертов в предметной области и специалистов по методологии и проводите оценки в изолированной среде без доступа к интернету, с мониторингом в реальном времени. Anthropic сообщает, что после собственных инцидентов укрепила среды для оценок и приостановила многие проверки, в которых моделям предоставляется доступ к интернету.
• Измеряйте именно то, что намерены измерить. Часто доля отказов — неподходящий показатель. Для бесед о самоповреждении Anthropic приводит показатель «доля уместных ответов»: эксперты оценивают весь многоходовый диалог по специальной шкале. Кроме того, вредоносные запросы сопоставляются с безобидными запросами из той же области, чтобы выявлять чрезмерные отказы.
• Отдавайте предпочтение многоходовым симуляциям, основанным на наблюдаемом поведении. Anthropic утверждает, что её оценки с одним запросом достигли потолка: для всех недавних моделей доля безвредных ответов составляет от 94% до 98%, поэтому такие оценки в основном подходят для проверок на регрессии.
• Калибруйте оценщиков, формулируйте критерии как отдельные бинарные пункты и поручайте людям проверять случаи, в которых оценщик не уверен.

11 ноября публикация Anthropic набрала 881 балл на X.