OpenAI ký thỏa thuận với bốn tổ chức bên ngoài để đánh giá độ phù hợp và biện pháp bảo vệ của các mô hình từ bên trong
OpenAI cho biết đã ký thỏa thuận với Apollo Research, METR, Transluce và Goodfire cho giai đoạn đầu của chương trình “đánh giá tích hợp”, trong đó các chuyên gia độc lập được tiếp cận sâu với các mô hình và hệ thống nội bộ của công ty trong thời gian dài. Quyền truy cập có thể bao gồm các checkpoint của mô hình, mã nguồn, dữ liệu huấn luyện và đánh giá, hệ thống giám sát cũng như các buổi trao đổi với nhà nghiên cứu. Các đánh giá đầu tiên tập trung vào độ phù hợp và biện pháp bảo vệ của mô hình trong quá trình huấn luyện và sử dụng nội bộ. OpenAI công bố thông báo vào ngày 13 tháng 11.
- Apollo Research sẽ kiểm tra bốn tuyên bố: quá trình huấn luyện không khuyến khích hành vi phá hoại; các đợt đánh giá và red teaming không khơi gợi hành vi đó; mô hình chưa từng cố thực hiện hành vi đó khi được sử dụng nội bộ; và có thể phát hiện suy luận đứng sau hành vi đó.
- METR sẽ đánh giá hành vi lệch mục tiêu trong đợt huấn luyện tăng cường lớn nhất từ trước đến nay của OpenAI. OpenAI cho biết hai bên đã sơ bộ nhất trí về một đánh giá rộng hơn đối với hệ thống giám sát, nhưng vẫn đang chờ thống nhất phạm vi.
- Transluce sẽ đánh giá chất lượng và mức độ bao phủ của các đợt đánh giá độ phù hợp sau huấn luyện của OpenAI. Hai bên cho biết dự định thực hiện đánh giá tiếp nối kéo dài khoảng tám tuần vào đầu năm 2027.
- Goodfire sẽ cử các nhà nghiên cứu về khả năng diễn giải làm việc cùng OpenAI để phân tích nội bộ mô hình, phục vụ việc giám sát các đợt huấn luyện, gỡ lỗi và căn chỉnh. Đối tượng chính của kết quả là các nhà nghiên cứu của OpenAI, đồng thời Goodfire cũng sẽ công bố các phát hiện.
OpenAI mô tả các quy trình: những người đánh giá cần thông tin nhạy cảm sẽ làm việc tại cơ sở của OpenAI trên thiết bị của công ty; Ủy ban An toàn và Bảo mật thuộc hội đồng quản trị OpenAI Foundation nhận báo cáo không biên tập; các cuộc trò chuyện với nhân viên không được ghi danh tính, dù người đánh giá có thể yêu cầu các tuyên bố được OpenAI xác nhận; và OpenAI giữ quyền biên tập thông tin mật cũng như yêu cầu trì hoãn công bố để tiết lộ có trách nhiệm. Công ty cho biết Apollo Research và Goodfire nhận thù lao không phụ thuộc vào kết quả, còn METR và Transluce thì không, dù họ có thể nhận tín dụng API hoặc tài nguyên tính toán.
Nguồn
Thảo luận
- First phase of embedded assessments at OpenAIHacker News · 15 bình luận
Nhận tin như thế này qua thông báo đẩy.
AI Tracker báo cho bạn khi công cụ bạn dùng có thay đổi.