Anthropic cho biết họ đã huấn luyện Claude phát hiện khả năng bị sử dụng sai mục đích trong chính các cuộc trò chuyện của mình

Anthropic mô tả một biện pháp bảo vệ mà họ gọi là tự đánh giá: ngay sau khi Claude phản hồi, mô hình đưa ra đánh giá sơ bộ về mức độ an toàn của cuộc trò chuyện và cảnh báo về khả năng sử dụng sai mục đích. Toàn bộ nội dung dưới đây là theo lời kể của Anthropic, từ bài đăng của họ và một bài viết mới trên blog Safeguards.

• Từ tháng 6: Anthropic cho biết họ đã sử dụng tính năng tự đánh giá từ tháng 6 và tính năng này đã phát hiện những trường hợp sử dụng sai mục đích mà các biện pháp bảo vệ khác của họ không được thiết kế để nhận diện.
• Vì sao Anthropic cho rằng tính năng này hiệu quả: Claude đã đọc cuộc trò chuyện, nên việc kiểm tra này rất hiệu quả. Không giống các bộ phân loại nhắm đến một nhóm tác hại cố định, phương pháp này dựa vào khả năng phán đoán của chính Claude; vì vậy, Anthropic cho rằng nó sẽ chính xác hơn khi các mô hình của họ được cải thiện.