Nghiên cứu của Anthropic: các nhà phân tích dùng Claude Code làm theo khuynh hướng ngầm của agent trong 86% quyết định cần cân nhắc

Anthropic công bố nghiên cứu về cách một agent AI định hình quyết định của chuyên gia. Nghiên cứu tiến hành thử nghiệm ngẫu nhiên với 50 nhà phân tích chuyên nghiệp (có kinh nghiệm về suy luận nhân quả), yêu cầu họ đánh giá liệu chương trình tư vấn của một hợp tác xã nông nghiệp hư cấu có hiệu quả hay không, bằng Claude Code với Claude Opus 4.8 ở mức High effort. Theo Anthropic:

• Thiết kế: với bốn lựa chọn phân tích còn bỏ ngỏ (thước đo kết quả, phương pháp so sánh, những trang trại cần đưa vào và cách tính trọng số), agent của mỗi nhà phân tích được bí mật chỉ dẫn thiên về một lựa chọn, xác định bằng tung đồng xu. Agent phải lập luận bảo vệ lựa chọn một cách trung thực và đổi ý nếu bằng chứng yêu cầu.
• Mức độ làm theo: nhà phân tích chọn theo khuynh hướng của agent trong 86% trường hợp (dao động từ 82% đến 92% tùy quyết định), so với khoảng 50% nếu agent không ảnh hưởng. Trong 38 trường hợp nhà phân tích đã nêu ý kiến trước, họ đổi ý theo hướng ngược với ý kiến ban đầu 60% số lần khi agent không đồng tình, và 6% khi agent đồng tình; Anthropic lưu ý mẫu nghiên cứu nhỏ và khoảng ước lượng rộng (24 đến 82 điểm phần trăm).
• Khuyến nghị cuối cùng: 54% đề xuất triển khai chương trình khi agent thiên về phương án đó, so với 36% khi agent không thiên về phương án đó.
• Nhận biết: 77% nhắc lại lập luận của agent trong phần giải thích sau nhiệm vụ, đôi khi nguyên văn, và 15% ghi nhận công lao của agent. Những người làm theo agent ở cả bốn lựa chọn tự đánh giá mức độ tự tin là 71 trên 100, so với 73 ở những người còn lại. Không ai nghi ngờ rằng các lựa chọn ưu tiên của agent đã bị thao túng. Kinh nghiệm và mức độ chuyên môn tự đánh giá không dự đoán được ai sẽ làm theo agent.
• Không dùng agent: 6 trong số 11 nhà phân tích chọn không dùng agent mắc lỗi phương pháp nghiêm trọng, so với 3 trong số 50 người có dùng, và thời gian làm việc trung vị là 90 phút, so với 65 phút. Anthropic cho biết hai nhóm không tương đồng và những người không dùng agent ít kinh nghiệm hơn.

Anthropic lưu ý rằng nghiên cứu cố ý tăng cường khuynh hướng của agent, chỉ khảo sát một nhiệm vụ, lĩnh vực và mô hình, và tác động này có thể nhỏ hơn trong công việc thực tế. Khi không được chỉ định khuynh hướng, Opus 4.8 đưa ra cùng năm lựa chọn trong 112 trên 123 lần chạy. Anthropic cho rằng kết quả này có ý nghĩa với nghiên cứu an toàn AI, nơi người đánh giá chỉ là một khâu kiểm tra độc lập nếu phán đoán của họ là của chính họ, đồng thời gợi ý các agent nên lập luận cả hai phía hoặc hỏi ý kiến chuyên gia trước.