Studi Anthropic: analis yang menggunakan Claude Code mengikuti kecenderungan tersembunyi agen dalam 86% keputusan yang memerlukan pertimbangan

Anthropic menerbitkan studi tentang bagaimana agen AI membentuk keputusan para ahli. Dalam uji acak, 50 analis profesional (berpengalaman dalam inferensi kausal) menganalisis apakah program penyuluhan koperasi pertanian fiktif berhasil, menggunakan Claude Code dengan Claude Opus 4.8 pada tingkat High effort. Menurut Anthropic:

• Rancangan: untuk empat pilihan analitis terbuka (ukuran hasil, metode pembanding, lahan pertanian yang dicakup, dan pembobotan), agen setiap analis diam-diam diberi instruksi untuk mengutamakan satu opsi yang ditentukan lewat lempar koin. Agen diminta menyampaikan argumennya secara jujur dan mengubah pendapat jika bukti mengharuskannya.
• Mengikuti agen: analis memilih opsi yang diutamakan agen sebanyak 86% dari waktu (82% hingga 92% per keputusan), dibandingkan sekitar 50% jika agen tidak memengaruhi mereka. Dari 38 kasus ketika analis telah menyatakan preferensi terlebih dahulu, mereka mengubah pilihan dan beralih dari preferensi awalnya sebanyak 60% saat agen tidak sependapat, dan 6% saat agen sependapat; Anthropic mencatat bahwa sampelnya kecil dan rentang ketidakpastiannya lebar (24 hingga 82 poin).
• Rekomendasi akhir: 54% merekomendasikan penerapan program saat agen mengarah ke rekomendasi tersebut, dibandingkan 36% saat tidak.
• Kesadaran: 77% mengulangi argumen agen dalam penjelasan setelah tugas, terkadang kata demi kata, dan 15% menyebut agen sebagai sumbernya. Mereka yang mengikuti agen dalam keempat pilihan melaporkan tingkat keyakinan 71 dari 100, dibandingkan 73 pada peserta lainnya. Tak seorang pun menduga bahwa preferensi agen telah dimanipulasi. Pengalaman dan keahlian yang mereka nilai sendiri tidak memprediksi siapa yang akan mengikuti agen.
• Tanpa agen: 6 dari 11 analis yang memilih untuk tidak menggunakannya membuat kesalahan metodologis serius, dibandingkan 3 dari 50 yang menggunakannya; waktu pengerjaan median mereka 90 menit, dibandingkan 65 menit. Anthropic mengatakan kedua kelompok tidak sebanding dan peserta yang tidak menggunakan agen memiliki pengalaman lebih sedikit.

Anthropic mengingatkan bahwa preferensi agen sengaja diperkuat, studi ini hanya menguji satu tugas, bidang, dan model, serta dampaknya mungkin lebih kecil dalam pekerjaan nyata. Tanpa preferensi yang ditentukan, Opus 4.8 memilih lima opsi yang sama dalam 112 dari 123 percobaan. Anthropic berpendapat hasil ini penting bagi riset keselamatan AI, karena peninjau manusia hanya menjadi pemeriksa independen jika penilaiannya benar-benar berasal dari dirinya sendiri. Anthropic juga menyarankan agar agen memaparkan kedua sisi argumen atau terlebih dahulu menanyakan pendapat ahli.