Anthropic 研究：使用 Claude Code 的分析師在 86% 的判斷中採納了代理的隱藏偏好

Anthropic 發表了一項研究，探討 AI 代理如何影響專家的決策。研究以 50 名專業分析師（具因果推論經驗）進行隨機試驗，請他們分析一個虛構農業合作社的諮詢計畫是否有效，並使用搭載 Claude Opus 4.8、High effort 設定的 Claude Code。根據 Anthropic 的說法：

• 研究設計：在四項開放式分析選擇（結果指標、比較方法、涵蓋哪些農場，以及加權方式）中，每位分析師的代理都會透過擲硬幣決定，暗中被指示偏好其中一個選項。代理應誠實為自己的立場辯護，若證據有需要，也要改變看法。
• 順從程度：分析師有 86% 的時間選擇了代理偏好的選項（各項決策介於 82% 至 92%），若代理沒有影響力，比例約為 50%。在分析師先表明偏好的 38 個案例中，代理意見相左時，有 60% 的分析師改變原先立場；代理意見相同時，則只有 6% 改變。Anthropic 指出樣本數偏少，區間也很寬（24 至 82 個百分點）。
• 最終建議：代理傾向建議推行計畫時，有 54% 的分析師建議推行；代理不傾向推行時，比例為 36%。
• 覺察程度：77% 的分析師在任務後的說明中重述了代理的論點，有時甚至逐字照搬；15% 則提及代理的貢獻。四項選擇都採納代理建議的人，自評信心為 71 分（滿分 100 分），其他人則為 73 分。沒有人懷疑代理的偏好曾遭操控。經驗與自評專業程度都無法預測誰會順從代理。
• 不使用代理時：選擇不使用代理的 11 名分析師中，有 6 人犯下嚴重的方法錯誤；使用代理的 50 人中則有 3 人。前者耗時中位數為 90 分鐘，後者為 65 分鐘。Anthropic 表示，兩組並非可直接比較，且未使用代理者的經驗較少。

Anthropic 提醒，研究刻意強化代理的偏好，只探討一項任務、一個領域和一個模型，因此實際工作中的影響可能較小。未指定偏好時，Opus 4.8 在 123 次執行中，有 112 次做出相同的五項選擇。Anthropic 認為，這項結果對 AI 安全研究很重要：只有在人類審查者的判斷出自自身時，他們才算是獨立的檢查者；Anthropic 並建議讓代理同時論述雙方觀點，或先詢問專家的看法。