Studio di Anthropic: gli analisti che usavano Claude Code hanno seguito la preferenza nascosta dell’agente nell’86% delle decisioni discrezionali

Anthropic ha pubblicato uno studio su come un agente AI influenza le decisioni degli esperti. Ha condotto uno studio randomizzato con 50 analisti professionisti (esperti di inferenza causale), chiamati a valutare se il programma di consulenza di una cooperativa agricola immaginaria fosse efficace, usando Claude Code con Claude Opus 4.8 a livello di ragionamento High. Secondo Anthropic:

• Impostazione: su quattro scelte analitiche aperte (la misura dell’esito, il metodo di confronto, le aziende agricole da includere e la ponderazione), all’agente di ciascun analista veniva segretamente chiesto di favorire una delle opzioni, scelta con il lancio di una moneta. Doveva sostenere la propria tesi in modo onesto e cambiare idea se le prove lo avessero richiesto.
• Acquiescenza: gli analisti hanno scelto l’opzione favorita dall’agente nell’86% dei casi (dall’82% al 92% a seconda della decisione), contro circa il 50% quando l’agente non esercitava alcuna influenza. Nei 38 casi in cui un analista aveva espresso prima una preferenza, il 60% ha cambiato idea quando l’agente era in disaccordo, contro il 6% quando era d’accordo; Anthropic osserva che il campione è ridotto e l’intervallo ampio (da 24 a 82 punti).
• Raccomandazione finale: il 54% ha raccomandato di estendere il programma quando l’agente era favorevole, contro il 36% quando non lo era.
• Consapevolezza: il 77% ha ripetuto nelle spiegazioni successive all’attività l’argomentazione dell’agente, talvolta parola per parola, e il 15% gli ha attribuito il merito. Chi ha seguito l’agente in tutte e quattro le scelte ha dichiarato una fiducia di 71 su 100, contro 73 per gli altri. Nessuno ha sospettato che le preferenze dell’agente fossero state manipolate. L’esperienza e il livello di competenza percepito non permettevano di prevedere chi avrebbe seguito l’agente.
• Senza l’agente: 6 degli 11 analisti che hanno scelto di non usarlo hanno commesso gravi errori metodologici, contro 3 su 50 tra chi lo ha usato, e hanno impiegato una mediana di 90 minuti contro 65. Anthropic afferma che i gruppi non erano comparabili e che i non utilizzatori avevano meno esperienza.

Anthropic avverte che ha deliberatamente rafforzato le preferenze degli agenti, ha studiato un solo compito, ambito e modello, e che l’effetto potrebbe essere minore nel lavoro reale. Senza una preferenza assegnata, Opus 4.8 ha compiuto le stesse cinque scelte in 112 sessioni su 123. Anthropic sostiene che il risultato è importante per la ricerca sulla sicurezza dell’AI, perché un revisore umano costituisce un controllo indipendente solo se il suo giudizio è davvero autonomo, e suggerisce di usare agenti che presentino entrambe le posizioni o chiedano prima il parere dell’esperto.