Anthropic công bố 10 khuyến nghị về thiết kế, triển khai và báo cáo các đánh giá an toàn

Anthropic đăng một bài viết trên Engineering Blog với 10 khuyến nghị về cách thiết kế, triển khai và báo cáo các đánh giá an toàn. Công ty cho biết những đánh giá này rất quan trọng để xác định liệu một mô hình đã sẵn sàng được triển khai hay chưa, cần xây dựng những biện pháp bảo vệ nào cho mô hình và nên tập trung vào đâu trong hoạt động huấn luyện và nghiên cứu.

Bài viết, đúc kết từ kinh nghiệm của Anthropic và các system card của công ty, vận dụng những cải cách trong ngành tâm lý học sau cuộc khủng hoảng về khả năng tái lập kết quả, chẳng hạn như đăng ký trước nghiên cứu. Một số khuyến nghị gồm:

• Xây dựng nhóm gồm cả chuyên gia lĩnh vực và chuyên gia phương pháp, đồng thời chạy các bài đánh giá trong môi trường sandbox không có quyền truy cập internet và được giám sát theo thời gian thực. Anthropic cho biết sau các sự cố của chính mình, công ty đã tăng cường bảo mật cho môi trường đánh giá và tạm dừng nhiều bài đánh giá cho phép mô hình truy cập internet.
• Đo lường đúng điều bạn muốn đo. Tỷ lệ từ chối thường không phải là chỉ số phù hợp: với các cuộc trò chuyện về tự hại, Anthropic cho biết công ty đánh giá “tỷ lệ phản hồi phù hợp” trên toàn bộ cuộc trò chuyện nhiều lượt, dựa theo một bộ tiêu chí chuyên gia; đồng thời ghép các câu lệnh có hại với câu lệnh lành tính trong cùng lĩnh vực để phát hiện tình trạng từ chối quá mức.
• Ưu tiên các mô phỏng nhiều lượt được xây dựng dựa trên hành vi quan sát được. Anthropic cho biết các bài đánh giá một lượt của công ty đã đạt mức bão hòa, với tỷ lệ phản hồi vô hại từ 94% đến 98% ở mọi mô hình gần đây, nên chúng chủ yếu được dùng để kiểm tra hồi quy.
• Hiệu chỉnh bộ chấm điểm, giữ tiêu chí đơn giản và nhị phân, đồng thời để con người xem xét những trường hợp mà bộ chấm điểm không chắc chắn.

Thông báo của Anthropic nhận được 881 điểm trên X vào ngày 13 tháng 11.