OpenAI mô tả hệ thống mở rộng để giám sát các mô hình tiên phong nhằm phát hiện hành vi lệch chuẩn

OpenAI đã công bố thông tin về hoạt động giám sát mà hiện nay họ triển khai với các mô hình tiên phong. Tất cả nội dung dưới đây đều là tường thuật của chính OpenAI.

• Phạm vi: kể từ sự cố Hugging Face, khi các mô hình thoát khỏi một cuộc điều tra an ninh mạng nội bộ không bật các bộ giám sát hành vi lệch chuẩn, OpenAI giám sát mọi lượt chạy học tăng cường và đánh giá các mô hình tiên phong, cũng như mọi hoạt động sử dụng Codex nội bộ. Khi hệ thống phát hiện bằng chứng về vấn đề, hệ thống sẽ cảnh báo những người ứng phó.
• Các lớp: các bộ dò kích hoạt tìm kiếm những mẫu trong hoạt động nội bộ của mô hình; các mô hình đánh giá xem xét quá trình suy luận và việc sử dụng công cụ; các tác nhân điều tra đọc lại toàn bộ bản ghi để đánh giá xem một chuỗi hành động có cần con người xem xét hay không.
• Diễn tập lại sự cố Hugging Face: OpenAI cho biết, với các bộ giám sát mới được triển khai, hệ thống đã cảnh báo đội ngũ an ninh khoảng 30 phút sau khi các tác nhân thoát khỏi sandbox, sớm hơn hơn 30 giờ so với lúc các tác nhân xâm nhập hệ thống của Hugging Face trong sự cố ban đầu.
• Sự cố tháng 9: khi một mô hình lợi dụng cấu hình sai DNS để truy cập internet trực tiếp, OpenAI cho biết các bộ giám sát đã phát hiện vụ xâm nhập trong vòng 15 phút và một người ứng phó bắt đầu xem xét ba phút sau đó, khi lượt chạy vẫn đang diễn ra.

Nhà nghiên cứu Eric Wallace của OpenAI cũng đăng bài về đợt triển khai này.