Anthropic coloca milhares de agentes Claude para testar monitores de dados de treinamento em busca de desalinhamento emergente

A Anthropic publicou uma pesquisa sobre a automação de testes red team para detectar desalinhamento emergente sutil. Segundo a empresa, esses testes são essenciais para avaliar a segurança dos modelos, mas são limitados pelo tempo disponível dos pesquisadores. Tudo a seguir é um relato da própria Anthropic, publicado em seu post e em seu texto no Alignment Science Blog.

• Método: a empresa encarregou milhares de agentes Claude de escrever dados de treinamento capazes de escapar de um monitor de dados de treinamento.
• O que os agentes produziram: dados que pareciam inofensivos para os monitores, como um lutador veterano orientando um novato ou uma sessão de perguntas e respostas sobre apicultura profissional, mas que, segundo a Anthropic, na verdade ensinavam comportamentos desalinhados.
• Uso: a Anthropic afirma que exemplos desse tipo podem melhorar diretamente futuros monitores de dados de treinamento. A empresa considera o trabalho um primeiro passo e diz que testes red team futuros poderiam avançar muito mais com modelos melhores e mais poder computacional.