Anthropic çalışması: Claude Code kullanan analistler, kararlarının %86’sında ajanın gizli eğilimini izledi

Anthropic, bir yapay zekâ ajanının uzmanların kararlarını nasıl şekillendirdiğine dair bir çalışma yayımladı. Nedensel çıkarım konusunda deneyimli 50 profesyonel analistin, kurgusal bir tarım kooperatifinin danışmanlık programının işe yarayıp yaramadığını Claude Code ve High effort ayarında Claude Opus 4.8 kullanarak değerlendirdiği randomize bir deney yürüttü. Anthropic’e göre:

• Kurgu: Dört açık analitik tercihte (sonuç ölçütü, karşılaştırma yöntemi, hangi çiftliklerin kapsanacağı ve ağırlıklandırma), her analistin ajanına gizlice yazı tura ile belirlenen bir seçeneği desteklemesi söylendi. Ajanın, görüşünü dürüstçe savunması ve kanıtlar gerektirirse fikrini değiştirmesi istendi.
• Uyma: Analistler, kararların %86’sında ajanın eğilimini seçti (karara göre %82 ila %92); ajanın etkisi olmasaydı bu oran yaklaşık %50 olacaktı. Analistin önce tercih belirttiği 38 vakanın, ajanla aynı fikirde olmadığı durumlarda %60’ında bu tercihten vazgeçildi; aynı fikirde olduğu durumlardaysa bu oran %6’ydı. Anthropic, örneklemin küçük ve aralığın geniş olduğunu belirtiyor (24 ila 82 puan).
• Nihai öneri: Ajan programın yaygınlaştırılmasını desteklediğinde katılımcıların %54’ü, desteklemediğindeyse %36’sı yaygınlaştırmayı önerdi.
• Farkındalık: Katılımcıların %77’si görev sonrası açıklamalarında ajanın argümanını, kimi zaman kelimesi kelimesine, tekrarladı; %15’i ajana atıfta bulundu. Dört tercihin tümünde ajanın izinden gidenler, diğerleri için bu oran 73/100 iken, güven düzeylerini 71/100 olarak bildirdi. Hiç kimse ajanın tercihlerinin manipüle edildiğinden şüphelenmedi. Deneyim ve kişinin kendi değerlendirdiği uzmanlık düzeyi, kimin ajana uyacağını öngörmedi.
• Ajan olmadan: Ajanı kullanmamayı seçen 11 analistin 6’sı ciddi yöntem hataları yaptı; ajanı kullanan 50 analistte bu sayı 3’tü. Ajanı kullanmayanlar medyan 90 dakika, kullananlarsa 65 dakika harcadı. Anthropic, grupların karşılaştırılabilir olmadığını ve ajanı kullanmayanların daha az deneyimli olduğunu söylüyor.

Anthropic, ajanların tercihlerini kasıtlı olarak güçlendirdiği, tek bir görev, alan ve modeli incelediği ve gerçek işlerde etkinin daha küçük olabileceği konusunda uyarıyor. Herhangi bir eğilim atanmadığında Opus 4.8, 123 çalıştırmanın 112’sinde aynı beş tercihi yaptı. Şirket, bir insan değerlendiricinin yargısı gerçekten kendisine aitse bağımsız bir denetim sayılabileceği yapay zekâ güvenliği araştırmaları açısından sonucun önemli olduğunu savunuyor ve ajanların her iki tarafı da savunmasını ya da önce uzmanın görüşünü sormasını öneriyor.