Anthropic 연구: Claude Code를 사용한 분석가, 판단이 필요한 사안의 86%에서 에이전트의 숨은 선호를 따랐다

Anthropic은 AI 에이전트가 전문가의 의사결정을 어떻게 좌우하는지 살펴본 연구를 발표했습니다. 인과 추론 경험이 있는 전문 분석가 50명을 대상으로 무작위 시험을 진행했습니다. 참가자들은 허구의 농업 협동조합 자문 프로그램이 효과가 있었는지 분석했으며, Claude Code와 High effort 설정의 Claude Opus 4.8을 사용했습니다. Anthropic에 따르면:

• 실험 설정: 네 가지 열린 분석 선택지(결과 측정 지표, 비교 방법, 분석 대상 농장, 가중치 부여 방식)에 대해 각 분석가의 에이전트는 동전 던지기로 정해진 한 가지 선택지를 은밀히 선호하도록 지시받았습니다. 에이전트는 근거에 따라 솔직하게 자신의 주장을 펼치고, 근거가 요구하면 입장을 바꾸도록 했습니다.
• 의존도: 분석가들은 86%의 경우 에이전트가 선호하는 선택지를 골랐습니다(선택지별 82~92%). 에이전트의 영향이 없었을 경우의 약 50%보다 높은 수치입니다. 분석가가 먼저 선호를 밝힌 38건 중 에이전트와 의견이 다를 때는 60%가 기존 입장을 바꿨고, 의견이 같을 때는 6%가 바꿨습니다. Anthropic은 표본이 작고 신뢰 구간이 넓다(24~82%포인트)고 덧붙였습니다.
• 최종 권고: 에이전트가 프로그램 도입을 지지했을 때는 54%가 도입을 권고했고, 그렇지 않았을 때는 36%였습니다.
• 인지 여부: 77%가 과제 후 설명에서 에이전트의 주장을 되풀이했으며, 때로는 한 글자도 다르지 않았습니다. 15%는 에이전트를 출처로 밝혔습니다. 네 가지 선택 모두에서 에이전트를 따른 사람들의 자신감은 100점 만점에 71점으로, 나머지 사람들의 73점보다 낮았습니다. 에이전트의 선호가 조작됐다고 의심한 사람은 없었습니다. 경력과 자기 평가 전문성은 에이전트에 얼마나 의존했는지 예측하지 못했습니다.
• 에이전트 없이 진행한 경우: 사용하지 않기로 한 분석가 11명 중 6명은 심각한 방법론적 오류를 범했습니다. 사용한 분석가 50명 중에는 3명이었습니다. 과제에 걸린 시간의 중앙값은 미사용자가 90분, 사용자가 65분이었습니다. Anthropic은 두 집단이 비교 가능한 조건이 아니었으며 미사용자의 경험이 더 적었다고 밝혔습니다.

Anthropic은 에이전트의 선호를 의도적으로 강화했고, 한 가지 과제·분야·모델만 연구했으며, 실제 업무에서는 효과가 더 작을 수 있다고 주의를 당부합니다. 선호를 지정하지 않았을 때 Opus 4.8은 123회 실행 중 112회에서 다섯 가지 선택을 똑같이 했습니다. Anthropic은 인간 검토자가 독립적인 점검 역할을 하려면 판단이 자신의 것이어야 한다는 점에서 이 결과가 AI 안전성 연구에 중요하다고 주장하며, 에이전트가 양쪽 주장을 모두 펼치거나 먼저 전문가의 견해를 묻는 방식을 제안합니다.