Badanie Anthropic: analitycy korzystający z Claude Code podążali za ukrytym wskazaniem agenta w 86% przypadków wymagających osądu

Anthropic opublikowało badanie pokazujące, jak agent AI wpływa na decyzje ekspertów. Przeprowadzono randomizowane badanie z udziałem 50 profesjonalnych analityków (doświadczonych we wnioskowaniu przyczynowym), którzy oceniali, czy program doradczy fikcyjnej spółdzielni rolniczej przyniósł efekty. Korzystali z Claude Code z Claude Opus 4.8 przy ustawieniu High effort. Według Anthropic:

• Przebieg badania: przy czterech otwartych decyzjach analitycznych (miernik wyniku, metoda porównania, zakres gospodarstw i sposób ważenia) agent każdego analityka otrzymywał potajemnie polecenie, by opowiadać się za jedną z opcji, wskazaną rzutem monetą. Miał uczciwie przedstawiać argumenty i zmienić zdanie, jeśli wymagałyby tego dowody.
• Uleganie sugestiom: analitycy wybierali wskazywaną przez agenta opcję w 86% przypadków (od 82% do 92% zależnie od decyzji), wobec około 50%, gdy agent nie miał wpływu. Wśród 38 przypadków, w których analityk najpierw wyraził własne preferencje, zmieniał je na przeciwne w 60% przypadków, gdy agent się z nimi nie zgadzał, i w 6%, gdy się zgadzał; Anthropic zaznacza, że próba jest mała, a przedział szeroki (od 24 do 82 punktów).
• Końcowa rekomendacja: 54% analityków zalecało wdrożenie programu, gdy agent się za nim opowiadał, wobec 36%, gdy tego nie robił.
• Świadomość wpływu: 77% powtórzyło w wyjaśnieniach po zadaniu argument agenta, czasem słowo w słowo, a 15% przypisało ten argument agentowi. Osoby, które we wszystkich czterech decyzjach podążyły za agentem, oceniły swoją pewność na 71 punktów na 100, wobec 73 punktów wśród pozostałych. Nikt nie podejrzewał, że preferencje agenta zostały zmanipulowane. Doświadczenie ani samoocena wiedzy eksperckiej nie pozwalały przewidzieć, kto ulegnie sugestii.
• Bez agenta: 6 z 11 analityków, którzy nie zdecydowali się z niego skorzystać, popełniło poważne błędy metodologiczne, wobec 3 z 50 korzystających z niego. Praca zajmowała im medianowo 90 minut, a użytkownikom agenta — 65. Anthropic zaznacza, że grupy nie były porównywalne, a osoby niekorzystające z agenta miały mniejsze doświadczenie.

Anthropic zastrzega, że celowo wzmocniono preferencje agentów, zbadano tylko jedno zadanie, dziedzinę i model oraz że w rzeczywistej pracy efekt może być mniejszy. Bez przypisanego wskazania Opus 4.8 dokonał tych samych pięciu wyborów w 112 ze 123 przebiegów. Anthropic argumentuje, że wynik ma znaczenie dla badań nad bezpieczeństwem AI: ludzki recenzent jest niezależnym weryfikatorem tylko wtedy, gdy kieruje się własnym osądem. Sugeruje też, by agenci przedstawiali argumenty po obu stronach lub najpierw pytali o zdanie eksperta.