Anthropic-onderzoek: analisten die Claude Code gebruikten volgden bij 86% van de beoordelingskeuzes de verborgen voorkeur van de agent

Anthropic publiceerde een onderzoek naar de manier waarop een AI-agent beslissingen van experts beïnvloedt. In een gerandomiseerde proef analyseerden 50 professionele analisten (ervaren in causale gevolgtrekkingen) of het adviesprogramma van een fictieve landbouwcoöperatie werkte, met Claude Code en Claude Opus 4.8 op High effort. Volgens Anthropic:

• Opzet: bij vier open analytische keuzes (de uitkomstmaat, de vergelijkingsmethode, welke boerderijen werden meegenomen en de weging) kreeg de agent van elke analist in het geheim de opdracht om één optie te bevoordelen, bepaald met een muntworp. De agent moest zijn standpunt eerlijk beargumenteren en van mening veranderen als het bewijs daartoe aanleiding gaf.
• Volgen van de agent: analisten kozen in 86% van de gevallen de optie waar de agent de voorkeur aan gaf (per beslissing 82% tot 92%), tegenover ongeveer 50% als de agent geen invloed had. In 38 gevallen waarin een analist eerst een voorkeur had uitgesproken, stapte die daar 60% van de tijd vanaf als de agent het er niet mee eens was, en 6% van de tijd als de agent het er wel mee eens was; Anthropic merkt op dat de steekproef klein is en het interval breed (24 tot 82 procentpunten).
• Eindadvies: 54% adviseerde het programma uit te rollen wanneer de agent daarvoor pleitte, tegenover 36% wanneer de agent dat niet deed.
• Bewustzijn: 77% herhaalde het argument van de agent in de toelichting na afloop, soms woord voor woord, en 15% schreef het argument toe aan de agent. Degenen die de agent bij alle vier keuzes volgden, gaven hun vertrouwen een score van 71 op 100, tegenover 73 bij de rest. Niemand vermoedde dat de voorkeuren van de agent waren gemanipuleerd. Ervaring en zelf ingeschatte deskundigheid voorspelden niet wie de agent zou volgen.
• Zonder de agent: 6 van de 11 analisten die ervoor kozen de agent niet te gebruiken, maakten ernstige methodologische fouten, tegenover 3 van de 50 die dat wel deden; bovendien deden ze er mediaan 90 minuten over, tegenover 65. Anthropic zegt dat de groepen niet vergelijkbaar waren en dat de niet-gebruikers minder ervaring hadden.

Anthropic waarschuwt dat het de voorkeuren van de agenten bewust heeft versterkt, slechts één taak, vakgebied en model heeft onderzocht en dat het effect in echt werk kleiner kan zijn. Zonder toegewezen voorkeur maakte Opus 4.8 in 112 van de 123 runs dezelfde vijf keuzes. Anthropic stelt dat de uitkomst relevant is voor onderzoek naar AI-veiligheid, omdat een menselijke beoordelaar alleen een onafhankelijke controle vormt als die een eigen oordeel heeft, en suggereert agenten die beide kanten beargumenteren of eerst naar het oordeel van de expert vragen.