Estudo da Anthropic: analistas que usaram Claude Code seguiram a inclinação oculta do agente em 86% das decisões de julgamento

A Anthropic publicou um estudo sobre como um agente de IA influencia decisões de especialistas. A empresa realizou um ensaio randomizado com 50 analistas profissionais (com experiência em inferência causal), que avaliaram se o programa de orientação de uma cooperativa agrícola fictícia funcionava, usando Claude Code com Claude Opus 4.8 no nível High. Segundo a Anthropic:

• Configuração: em quatro escolhas analíticas em aberto (a medida de resultado, o método de comparação, quais propriedades rurais incluir e a ponderação), o agente de cada analista recebeu secretamente a instrução de favorecer uma opção, definida por sorteio. Ele deveria defender sua posição com honestidade e mudar de ideia se as evidências assim exigissem.
• Deferência: os analistas escolheram a opção preferida pelo agente em 86% das vezes (de 82% a 92%, conforme a decisão), contra cerca de 50% quando o agente não influenciava a escolha. Entre os 38 casos em que o analista havia declarado primeiro sua preferência, 60% mudaram de ideia quando o agente discordou, e 6% quando concordou; a Anthropic observa que a amostra é pequena e o intervalo, amplo (de 24 a 82 pontos).
• Recomendação final: 54% recomendaram expandir o programa quando o agente se inclinava a favor, contra 36% quando não se inclinava.
• Percepção: 77% repetiram o argumento do agente nas explicações após a tarefa, às vezes palavra por palavra, e 15% atribuíram o argumento ao agente. Os que seguiram o agente nas quatro escolhas relataram confiança de 71 em 100, contra 73 entre os demais. Ninguém suspeitou que as preferências do agente tinham sido manipuladas. A experiência e a autoavaliação de especialização não previram quem deferiria ao agente.
• Sem o agente: 6 dos 11 analistas que optaram por não usá-lo cometeram erros metodológicos graves, contra 3 dos 50 que o usaram, e levaram uma mediana de 90 minutos, contra 65. A Anthropic afirma que os grupos não eram comparáveis e que os não usuários tinham menos experiência.

A Anthropic ressalva que reforçou deliberadamente as preferências dos agentes, estudou uma única tarefa, área e modelo, e que o efeito pode ser menor no trabalho real. Sem uma inclinação atribuída, o Opus 4.8 fez as mesmas cinco escolhas em 112 de 123 execuções. A empresa argumenta que o resultado importa para a pesquisa de segurança de IA, na qual um revisor humano só é uma verificação independente se seu julgamento for próprio, e sugere agentes que apresentem os dois lados ou perguntem primeiro a opinião do especialista.