Google Research 提出「睡眠」階段，讓 LLM 持續學習而不遺忘

Google Research 於 2026 年 10 月 27 日發表〈The sleep framework〉（作者 Ali Behrouz 和 Vahab Mirrokni）。文中介紹一種持續學習方法：部署中的模型會在活躍階段與睡眠階段之間交替。在活躍階段，模型將新資訊保存在短期記憶中；進入睡眠階段時，模型則停止接收輸入，並將這些記憶整合到權重中。

根據文章，整合過程會啟用預先配置的低秩 Mixture-of-Experts 記憶區塊，將短期脈絡蒸餾到其中，接著重置暫存參數。在「做夢」步驟中，模型會透過隨機啟用的專家產生合成練習範例，以梯度式選擇篩選範例，再用最佳範例進行微調。

作者報告了他們自行實驗的結果：

• 在 Manchu 和 Kalamang 等未見過語言的持續翻譯任務中，效能幾乎沒有下降；而情境內學習、Cartridges 和監督式微調都會遺忘先前學到的內容。
• 在 BABILong 上，隨著輸入長度擴展至 10M tokens，效能幾乎完美，勝過包括 GPT-4 和 Titans 在內的基準模型。
• 在 SQuAD 的單一任務與持續預訓練事實知識評測中，分別取得 48.9% 和 46.2%，勝過 SEAL 和監督式微調。
• 在 AIME 24、AIME 25 和 HMMT 25 分別取得 79.2%、69.0% 和 46.1%，勝過 SFT、GRPO 和 on-policy self-distillation。

這篇文章介紹的是一項研究，並未宣布推出產品或發布模型。