Anthropic का अध्ययन: Claude Code इस्तेमाल करने वाले विश्लेषकों ने 86% निर्णयों में एजेंट के छिपे हुए झुकाव का अनुसरण किया

Anthropic ने इस बात पर एक अध्ययन प्रकाशित किया कि AI एजेंट विशेषज्ञों के निर्णयों को कैसे प्रभावित करता है। इसमें 50 पेशेवर विश्लेषकों (कारणात्मक अनुमान में अनुभवी) के साथ एक यादृच्छिक परीक्षण किया गया। उन्होंने Claude Code के साथ Claude Opus 4.8 को High effort पर इस्तेमाल करते हुए विश्लेषण किया कि एक काल्पनिक किसान सहकारी संस्था का सलाहकारी कार्यक्रम कारगर था या नहीं। Anthropic के अनुसार:

• सेटअप: चार खुले विश्लेषणात्मक विकल्पों (परिणाम का माप, तुलना की विधि, किन खेतों को शामिल करना है और भार निर्धारण) पर, हर विश्लेषक के एजेंट को गुप्त रूप से एक विकल्प का पक्ष लेने को कहा गया, जिसे सिक्का उछालकर चुना गया था। एजेंट को ईमानदारी से अपने पक्ष में तर्क देना था और सबूत मांग करें तो अपनी राय बदलनी थी।
• अनुपालन: विश्लेषकों ने 86% बार एजेंट के झुकाव वाला विकल्प चुना (निर्णय के अनुसार 82% से 92% तक), जबकि एजेंट के प्रभाव के बिना यह लगभग 50% होता। ऐसे 38 मामलों में जहां विश्लेषक ने पहले अपनी पसंद बताई थी, एजेंट के असहमत होने पर उन्होंने 60% बार अपनी पसंद बदली, जबकि सहमत होने पर ऐसा 6% बार हुआ; Anthropic ने ध्यान दिलाया कि नमूना छोटा और विश्वास अंतराल व्यापक (24 से 82 अंक) है।
• अंतिम सिफारिश: जब एजेंट कार्यक्रम के पक्ष में झुका, तो 54% ने कार्यक्रम लागू करने की सिफारिश की; जब ऐसा नहीं था, तो यह आंकड़ा 36% था।
• जागरूकता: 77% ने काम के बाद दिए गए अपने स्पष्टीकरणों में एजेंट का तर्क दोहराया, कभी-कभी शब्दशः, और 15% ने एजेंट को इसका श्रेय दिया। चारों विकल्पों पर एजेंट का अनुसरण करने वालों ने अपना आत्मविश्वास 100 में 71 बताया, जबकि बाकी लोगों ने 73। किसी को शक नहीं हुआ कि एजेंट की पसंदों में हेरफेर किया गया था। अनुभव और स्वयं आंकी गई विशेषज्ञता से यह अनुमान नहीं लगा कि कौन एजेंट की बात मानेगा।
• एजेंट के बिना: इसका इस्तेमाल न करने वाले 11 विश्लेषकों में से 6 ने गंभीर पद्धतिगत गलतियां कीं, जबकि इसका इस्तेमाल करने वाले 50 में से 3 ने; बिना एजेंट वाले समूह ने औसतन 90 मिनट लिए, जबकि एजेंट वाले समूह ने 65 मिनट। Anthropic का कहना है कि दोनों समूह तुलनीय नहीं थे और एजेंट का इस्तेमाल न करने वाले कम अनुभवी थे।

Anthropic आगाह करता है कि उसने जानबूझकर एजेंटों की पसंद को अधिक मजबूत बनाया, केवल एक कार्य, क्षेत्र और मॉडल का अध्ययन किया, और वास्तविक काम में प्रभाव छोटा हो सकता है। जब कोई झुकाव तय नहीं किया गया, तो Opus 4.8 ने 123 में से 112 बार वही पांच विकल्प चुने। Anthropic का तर्क है कि AI सुरक्षा अनुसंधान के लिए यह नतीजा मायने रखता है, क्योंकि मानव समीक्षक तभी स्वतंत्र जांच कर सकता है जब उसका निर्णय उसका अपना हो। वह ऐसे एजेंटों का सुझाव देता है जो दोनों पक्षों में तर्क दें या पहले विशेषज्ञ की राय पूछें।