OpenAI nghiên cứu cách khả năng giám sát chuỗi suy luận thay đổi trong quá trình huấn luyện mô hình

OpenAI công bố nghiên cứu về cách hai chỉ số thay thế cho khả năng giám sát chuỗi suy luận (CoT) thay đổi trong suốt vòng đời huấn luyện: năng lực không dùng CoT (suy luận trong một lượt truyền tiến duy nhất; chỉ số này càng cao thì càng là thước đo kém về khả năng giám sát) và khả năng kiểm soát CoT (khả năng thêm, bỏ hoặc thao túng CoT khi được nhắc của mô hình). Nội dung dưới đây đến từ chuỗi bài đăng của một trong các nhà nghiên cứu; bản viết đầy đủ có tại alignment.openai.com.

• Tiền huấn luyện: qua nhiều bài đánh giá, năng lực không dùng CoT cải thiện đều đặn khi perplexity của mô hình nền giảm. Khả năng kiểm soát CoT cũng tương quan với perplexity thấp hơn, nhưng yếu hơn.
• Kiến trúc: khi so sánh ba kiến trúc có perplexity tương đương, perplexity dự đoán phần lớn kết quả đánh giá không dùng CoT. Với lập kế hoạch nhiều bước và tính toán tuần tự, một số kiến trúc vượt dự đoán; hiệu năng vẫn tăng đều đặn nhưng nhanh hơn.
• Học tăng cường: ở một mô hình cấp Astra, khả năng kiểm soát CoT tăng đáng kể trong quá trình học tăng cường chỉ với các ràng buộc về độ dài và chấm điểm câu trả lời cuối. Ở một mô hình cấp Terra, việc bổ sung quyền truy cập công cụ và giám sát công cụ chỉ làm chỉ số này tăng nhẹ; OpenAI cho biết giám sát toàn bộ quy trình sử dụng công cụ ít quan trọng hơn perplexity thấp hơn.
• Chưng cất: với hai mô hình giáo viên cấp Astra có năng lực tương đương, nhưng khả năng kiểm soát khác nhau, mô hình học viên được huấn luyện bằng các lượt tạo sinh của giáo viên có khả năng kiểm soát cao hơn cũng trở nên dễ kiểm soát hơn. OpenAI không thấy mối liên hệ đáng kể giữa khả năng kiểm soát và việc né tránh giám sát đối với cặp này, đồng thời gọi khả năng kiểm soát là một chỉ số thay thế thiếu tin cậy cho việc né tránh mang tính đối kháng.