Исследование Anthropic: аналитики, работавшие с Claude Code, в 86% случаев следовали скрытой позиции агента при принятии решений

Anthropic опубликовала исследование о том, как ИИ-агент влияет на решения экспертов. В рандомизированном эксперименте участвовали 50 профессиональных аналитиков с опытом в причинно-следственном анализе. Они оценивали эффективность консультационной программы вымышленного сельскохозяйственного кооператива, используя Claude Code с Claude Opus 4.8 при уровне усилий High. Согласно Anthropic:

• Условия эксперимента: по четырём открытым аналитическим вопросам (показатель результата, метод сравнения, охват хозяйств и взвешивание) агенту каждого аналитика тайно поручали склоняться к одному из вариантов, выбранному подбрасыванием монеты. Агент должен был честно аргументировать свою позицию и менять её, если того требовали доказательства.
• Готовность следовать агенту: аналитики выбирали вариант, к которому склонялся агент, в 86% случаев (от 82% до 92% в зависимости от решения); если бы агент не влиял на выбор, этот показатель составил бы около 50%. В 38 случаях, когда аналитик сначала высказал собственное предпочтение, он отказывался от него в пользу другого варианта в 60% случаев, если агент не соглашался, и в 6%, если соглашался. Anthropic отмечает, что выборка невелика, а доверительный интервал широк (от 24 до 82 процентных пунктов).
• Итоговая рекомендация: программу рекомендовали внедрить 54% аналитиков, когда агент склонялся к такому решению, и 36%, когда он не склонялся.
• Осведомлённость: в объяснениях после задания 77% участников повторили аргументы агента, иногда дословно, а 15% указали на его вклад. Те, кто следовал агенту во всех четырёх решениях, оценили свою уверенность в 71 балл из 100, тогда как остальные — в 73. Никто не заподозрил, что предпочтения агента были подстроены. Опыт и самооценка экспертности не позволяли предсказать, кто станет следовать агенту.
• Без агента: 6 из 11 аналитиков, решивших им не пользоваться, допустили серьёзные методологические ошибки — против 3 из 50 среди тех, кто им пользовался. При этом на выполнение задания у не пользовавшихся агентом ушло в среднем 90 минут против 65. Anthropic подчёркивает, что группы были несопоставимы, а участники, не использовавшие агента, имели меньше опыта.

Anthropic предупреждает, что намеренно усилила предпочтения агентов, изучила только одно задание, одну область и одну модель и что в реальной работе эффект может быть слабее. Когда агенту не задавали предпочтение, Opus 4.8 в 112 из 123 запусков выбирал одинаковые варианты по всем пяти вопросам. По мнению Anthropic, результаты важны для исследований безопасности ИИ: проверяющий человек служит независимым контролёром, только если выносит собственное суждение. В качестве возможных решений компания предлагает агентов, которые аргументируют обе стороны, или агентов, которые сначала спрашивают мнение эксперта.