Anthropic publica 10 recomendações para projetar, conduzir e relatar avaliações de segurança

A Anthropic publicou uma postagem em seu Engineering Blog com 10 recomendações sobre como projetar, conduzir e relatar avaliações de segurança. Segundo a empresa, essas avaliações são essenciais para entender se um modelo está pronto para ser implantado, quais salvaguardas devem ser criadas para ele e onde concentrar esforços de treinamento e pesquisa.

A postagem, baseada na experiência da própria Anthropic e em seus system cards, incorpora reformas da psicologia após sua crise de replicação, como o pré-registro. Entre as recomendações:

• Monte uma equipe com especialistas tanto na área quanto em métodos e conduza as avaliações em um ambiente isolado, sem acesso à internet e com monitoramento em tempo real. A Anthropic diz que, após incidentes próprios, reforçou seus ambientes de avaliação e suspendeu muitas avaliações que dão aos modelos acesso à internet.
• Meça o que você pretende medir. A taxa de recusa costuma ser uma métrica inadequada: em conversas sobre automutilação, a Anthropic relata uma “taxa de resposta apropriada”, avaliada ao longo de toda uma conversa com várias interações e comparada com critérios definidos por especialistas; além disso, combina prompts prejudiciais com prompts benignos no mesmo domínio para detectar recusas excessivas.
• Prefira simulações com várias interações, baseadas em comportamentos observados. A Anthropic afirma que suas avaliações de interação única estão saturadas, com taxas de resposta inofensiva de 94% a 98% para todos os modelos recentes, servindo principalmente como verificações de regressão.
• Calibre os avaliadores, mantenha os critérios atômicos e binários e peça que humanos revisem os casos sobre os quais o avaliador não tem certeza.

O anúncio da Anthropic teve 881 pontos no X em 13 de novembro.