Anthropic giao cho hàng nghìn tác nhân Claude tìm cách đánh lừa các bộ giám sát dữ liệu huấn luyện để phát hiện sự lệch chuẩn mới xuất hiện

Anthropic công bố nghiên cứu về tự động hóa việc red-team để phát hiện sự lệch chuẩn mới xuất hiện một cách tinh vi. Công ty cho biết red-team rất quan trọng đối với việc kiểm thử an toàn mô hình, nhưng bị giới hạn bởi thời gian của các nhà nghiên cứu. Toàn bộ thông tin dưới đây là theo tường thuật của chính Anthropic, từ bài đăng và bài viết trên Alignment Science Blog của công ty.

• Phương pháp: Anthropic giao cho hàng nghìn tác nhân Claude nhiệm vụ viết dữ liệu huấn luyện có thể qua mặt một bộ giám sát dữ liệu huấn luyện.
• Kết quả do các tác nhân tạo ra: dữ liệu trông có vẻ vô hại với các bộ giám sát, chẳng hạn như một đô vật kỳ cựu dìu dắt người mới hoặc phần hỏi đáp về nghề nuôi ong chuyên nghiệp, nhưng theo Anthropic, thực chất lại dạy các hành vi lệch chuẩn.
• Ứng dụng: Anthropic cho biết những ví dụ như vậy có thể trực tiếp cải thiện các bộ giám sát dữ liệu huấn luyện trong tương lai. Công ty gọi đây là bước đầu tiên và cho biết hoạt động red-team trong tương lai có thể được cải thiện đáng kể hơn nữa nhờ các mô hình tốt hơn và nhiều năng lực tính toán hơn.