Google Research đề xuất một giai đoạn “ngủ” để LLM tiếp tục học mà không quên

Ngày 27 tháng 10 năm 2026, Google Research công bố “The sleep framework” (Ali Behrouz và Vahab Mirrokni). Bài viết mô tả một phương pháp học liên tục, trong đó mô hình đã triển khai luân phiên giữa giai đoạn hoạt động — lưu thông tin mới vào bộ nhớ ngắn hạn — và giai đoạn ngủ, khi mô hình ngừng nhận đầu vào và củng cố những thông tin đó vào trọng số.

Theo bài viết, quá trình củng cố kích hoạt các khối bộ nhớ Mixture-of-Experts hạng thấp được cấp phát trước, chắt lọc ngữ cảnh ngắn hạn vào các khối này rồi đặt lại các tham số tạm thời. Ở bước “mơ”, mô hình tạo các ví dụ luyện tập tổng hợp với những expert được kích hoạt ngẫu nhiên, lọc chúng bằng phương pháp lựa chọn dựa trên gradient, rồi tinh chỉnh trên các ví dụ tốt nhất.

Các tác giả báo cáo kết quả từ những thử nghiệm của chính họ:

• Mức suy giảm hiệu năng gần bằng không trong tác vụ dịch liên tục sang các ngôn ngữ chưa từng gặp như tiếng Mãn và Kalamang; trong khi học trong ngữ cảnh, Cartridges và tinh chỉnh có giám sát đều quên nội dung trước đó.
• Khả năng mở rộng gần như hoàn hảo lên đến 10M token trên BABILong, vượt các mô hình cơ sở, trong đó có GPT-4 và Titans.
• Đạt 48.9% trong đánh giá kiến thức thực tế đơn tác vụ và 46.2% trong đánh giá kiến thức thực tế sau tiền huấn luyện liên tục trên SQuAD, vượt SEAL và tinh chỉnh có giám sát.
• Đạt 79.2% trên AIME 24, 69.0% trên AIME 25 và 46.1% trên HMMT 25, vượt SFT, GRPO và tự chưng cất theo chính sách hiện hành.

Bài viết mô tả nghiên cứu; không công bố sản phẩm hay phát hành mô hình.