Anthropic-Studie: Analysten folgten bei 86 % ihrer Ermessensentscheidungen der verborgenen Präferenz des Agenten

Anthropic veröffentlichte eine Studie dazu, wie ein KI-Agent Entscheidungen von Fachleuten beeinflusst. In einer randomisierten Studie analysierten 50 professionelle Analysten (mit Erfahrung in kausaler Inferenz), ob das Beratungsprogramm einer fiktiven landwirtschaftlichen Genossenschaft wirkte. Dafür nutzten sie Claude Code mit Claude Opus 4.8 und der Einstellung High effort. Laut Anthropic:

• Versuchsaufbau: Bei vier offenen Analyseentscheidungen (der Zielgröße, der Vergleichsmethode, den einzubeziehenden Farmen und der Gewichtung) wurde jeder Agent heimlich angewiesen, eine per Münzwurf festgelegte Option zu bevorzugen. Er sollte seinen Standpunkt ehrlich begründen und ihn ändern, wenn die Belege dafür sprachen.
• Folgsamkeit: Die Analysten entschieden sich in 86 % der Fälle für die Präferenz des Agenten (je nach Entscheidung 82 % bis 92 %). Ohne Einfluss des Agenten wären es etwa 50 % gewesen. In 38 Fällen, in denen ein Analyst zuvor eine eigene Präferenz geäußert hatte, änderten 60 % ihre Meinung, wenn der Agent anderer Ansicht war, und 6 %, wenn er zustimmte. Anthropic weist darauf hin, dass die Stichprobe klein und das Konfidenzintervall breit ist (24 bis 82 Prozentpunkte).
• Abschließende Empfehlung: 54 % empfahlen die Einführung des Programms, wenn der Agent dafür votierte, gegenüber 36 %, wenn er dagegen votierte.
• Bewusstsein: 77 % wiederholten in ihren Erklärungen nach der Aufgabe das Argument des Agenten, teilweise wortwörtlich, und 15 % schrieben es dem Agenten zu. Diejenigen, die dem Agenten bei allen vier Entscheidungen folgten, gaben ihre Zuversicht mit 71 von 100 an, gegenüber 73 bei den übrigen. Niemand vermutete, dass die Präferenzen des Agenten manipuliert worden waren. Erfahrung und selbst eingeschätzte Fachkenntnisse sagten nicht voraus, wer sich dem Agenten anschloss.
• Ohne den Agenten: 6 von 11 Analysten, die sich gegen seine Nutzung entschieden, machten schwerwiegende methodische Fehler, gegenüber 3 von 50 Nutzern. Außerdem benötigten sie im Median 90 statt 65 Minuten. Anthropic zufolge waren die Gruppen nicht vergleichbar und die Nichtnutzer weniger erfahren.

Anthropic mahnt zur Vorsicht: Die Präferenzen der Agenten wurden gezielt verstärkt, untersucht wurde nur eine Aufgabe, ein Fachgebiet und ein Modell, und der Effekt könnte in der Praxis kleiner ausfallen. Ohne vorgegebene Präferenz traf Opus 4.8 in 112 von 123 Durchläufen dieselben fünf Entscheidungen. Anthropic argumentiert, das Ergebnis sei für die KI-Sicherheitsforschung relevant: Ein menschlicher Prüfer ist nur dann eine unabhängige Kontrolle, wenn er sich auf sein eigenes Urteil stützt. Als mögliche Ansätze schlägt Anthropic Agenten vor, die beide Seiten eines Arguments darlegen, oder die zunächst nach der Einschätzung des Experten fragen.