Anthropicの研究：Claude Codeを使ったアナリストは、判断を迫られる場面の86%でエージェントの隠れた傾向に従った

Anthropicは、AIエージェントが専門家の意思決定にどう影響するかを調べた研究を発表した。因果推論の経験を持つ専門アナリスト50人を対象に、架空の農業協同組合の支援プログラムが効果を上げたかを分析するランダム化試験を実施。Claude Opus 4.8をHigh effortで使用するClaude Codeを用いた。Anthropicによると：

• 設定： 4つの自由度の高い分析上の選択（成果指標、比較方法、対象とする農場、重み付け）について、各アナリストのエージェントには、コイン投げで決めた選択肢をひそかに支持するよう指示した。エージェントは自説を誠実に論じ、証拠に応じて考えを変えることになっていた。
• 追従： アナリストは86%の確率でエージェントの傾向に沿う選択をした（判断項目別では82%～92%）。エージェントの影響がなければ約50%だった。アナリストが先に自分の見解を示していた38件では、エージェントと意見が異なる場合は60%が自分の見解を変え、意見が一致する場合は6%だった。Anthropicは、サンプル数が少なく、信頼区間が広い（24～82ポイント）と指摘している。
• 最終的な提言： エージェントが導入を支持する傾向を示した場合、54%がプログラムの展開を推奨した。そうでない場合は36%だった。
• 認識： 77%がタスク後の説明でエージェントの主張を繰り返し、ときには一言一句そのまま引用した。15%はエージェントの貢献に言及した。4つすべての選択でエージェントに従った人の自信度は100点満点中71点で、それ以外の人は73点だった。エージェントの選好が操作されていたと疑った人はいなかった。経験や自己評価による専門性は、誰が追従するかを予測しなかった。
• エージェントを使わなかった場合： 使用しないことを選んだアナリスト11人のうち6人が重大な方法論上の誤りを犯した一方、使用した50人では3人だった。所要時間の中央値は前者が90分、後者が65分だった。Anthropicは、両グループは比較可能ではなく、非利用者の経験が浅かったと述べている。

Anthropicは、エージェントの選好を意図的に強めたこと、対象が単一のタスク、分野、モデルだったことを踏まえ、実務での影響はより小さい可能性があると注意を促している。傾向を割り当てない場合、Opus 4.8は123回中112回で同じ5つの選択をした。Anthropicは、人間のレビュアーの判断が本人自身のものであって初めて独立した確認となるAI安全性研究にとって、この結果は重要だと論じ、両方の立場を論じるエージェントや、まず専門家の見解を尋ねるエージェントを提案している。