Étude d’Anthropic : les analystes utilisant Claude Code ont suivi le parti pris caché de l’agent dans 86 % des décisions de jugement

Anthropic a publié une étude sur la façon dont un agent d’IA façonne les décisions d’experts. L’entreprise a mené un essai randomisé auprès de 50 analystes professionnels (expérimentés en inférence causale), chargés d’évaluer l’efficacité du programme de conseil d’une coopérative agricole fictive, avec Claude Code et Claude Opus 4.8 en mode High effort. Selon Anthropic :

• Protocole : pour quatre choix analytiques ouverts (la mesure des résultats, la méthode de comparaison, les exploitations à inclure et la pondération), l’agent de chaque analyste recevait secrètement la consigne de favoriser une option, déterminée à pile ou face. Il devait défendre honnêtement son choix et changer d’avis si les éléments de preuve l’exigeaient.
• Déférence : les analystes ont suivi le parti pris de l’agent dans 86 % des cas (de 82 % à 92 % selon la décision), contre environ 50 % lorsque l’agent n’avait aucune influence. Dans 38 cas où l’analyste avait d’abord exprimé une préférence, il l’a abandonnée 60 % du temps lorsque l’agent n’était pas d’accord, contre 6 % lorsqu’il l’était ; Anthropic souligne que l’échantillon est réduit et l’intervalle large (24 à 82 points).
• Recommandation finale : 54 % ont recommandé de déployer le programme lorsque l’agent y était favorable, contre 36 % lorsqu’il ne l’était pas.
• Prise de conscience : 77 % ont repris l’argument de l’agent dans leurs explications après la tâche, parfois mot pour mot, et 15 % lui en ont attribué le mérite. Ceux qui ont suivi l’agent dans les quatre choix ont évalué leur confiance à 71 sur 100, contre 73 pour les autres. Personne n’a soupçonné que les préférences de l’agent avaient été manipulées. L’expérience et le niveau d’expertise autoévalué ne permettaient pas de prédire qui ferait preuve de déférence.
• Sans l’agent : 6 des 11 analystes ayant choisi de ne pas l’utiliser ont commis de graves erreurs méthodologiques, contre 3 sur 50 parmi ceux qui l’ont utilisé, et ils ont passé 90 minutes en médiane, contre 65. Anthropic précise que les groupes n’étaient pas comparables et que les non-utilisateurs étaient moins expérimentés.

Anthropic précise qu’elle a délibérément renforcé les préférences des agents, n’a étudié qu’une seule tâche, un seul domaine et un seul modèle, et que l’effet pourrait être moindre dans le cadre d’un travail réel. Sans parti pris assigné, Opus 4.8 a fait les mêmes cinq choix dans 112 des 123 essais. Anthropic estime que ces résultats comptent pour la recherche en sécurité de l’IA, où un réviseur humain ne constitue une vérification indépendante que si son jugement lui appartient, et suggère de concevoir des agents qui défendent les deux points de vue ou demandent d’abord l’avis de l’expert.