Anthropic, 안전성 평가의 설계·실행·보고를 위한 10가지 권고안 발표

Anthropic은 Engineering Blog에 안전성 평가를 설계하고 실행하고 보고하는 방법에 관한 10가지 권고안을 담은 글을 게시했습니다. Anthropic은 안전성 평가가 모델을 배포할 준비가 됐는지, 어떤 보호 장치를 마련해야 하는지, 학습과 연구를 어디에 집중해야 하는지 파악하는 데 매우 중요하다고 밝혔습니다.

Anthropic의 자체 경험과 시스템 카드를 바탕으로 한 이 글은 사전 등록 등 심리학계가 재현 위기 이후 도입한 개혁 방안을 참고합니다. 권고안은 다음과 같습니다.

• 분야 전문가와 방법론 전문가를 모두 포함해 팀을 구성하고, 인터넷에 연결되지 않은 샌드박스에서 실시간 모니터링을 병행해 평가를 진행합니다. Anthropic은 자체 사고를 겪은 뒤 평가 환경의 보안을 강화했으며, 모델에 인터넷 접속을 허용하는 평가를 다수 중단했다고 밝혔습니다.
• 측정하려는 것을 제대로 측정합니다. 거부율은 측정하려는 개념에 적합하지 않은 경우가 많습니다. 자해 관련 대화의 경우 Anthropic은 여러 차례 오가는 대화 전체를 전문가 평가 기준에 따라 판단하는 ‘적절한 응답률’을 제시하고, 과도한 거부를 포착하기 위해 같은 분야의 유해한 프롬프트와 무해한 프롬프트를 짝지어 평가합니다.
• 관찰된 행동을 바탕으로 만든 다중 턴 시뮬레이션을 우선합니다. Anthropic은 최근 모델 모두 무해한 응답률이 94%~98%에 이르러 단일 턴 평가가 이미 포화 상태이므로, 주로 회귀 테스트 용도로 쓰인다고 밝혔습니다.
• 평가자를 보정하고, 기준을 각각 독립적으로 판단할 수 있는 이분법적 항목으로 구성하며, 평가자가 확신하지 못하는 사례는 사람이 검토합니다.

Anthropic의 발표는 11월 13일 X에서 881점을 기록했습니다.