Google Research 提出“睡眠”阶段，让 LLM 持续学习而不遗忘

Google Research 于 2026 年 10 月 27 日发布了《The sleep framework》（作者：Ali Behrouz 和 Vahab Mirrokni）。文章介绍了一种持续学习方法：已部署的模型在主动阶段和睡眠阶段之间交替运行。主动阶段会将新信息保存在短期记忆中；睡眠阶段则停止接收输入，并将这些记忆整合进模型权重。

根据文章，整合过程会启用预先分配的低秩 Mixture-of-Experts 记忆块，并将短期上下文提炼到其中，随后重置临时参数。在“做梦”步骤中，模型会通过随机激活的专家生成合成练习样例，使用基于梯度的筛选方法挑选样例，再针对优选样例进行微调。

作者报告了他们自行开展的实验结果：

• 在 Manchu 和 Kalamang 等未见过的语言的持续翻译任务中，性能几乎没有下降；而上下文学习、Cartridges 和监督微调都会遗忘较早学习的内容。
• 在 BABILong 上，处理至 10M tokens 时性能几乎完美，优于包括 GPT-4 和 Titans 在内的基线模型。
• 在 SQuAD 上，单任务事实知识评测得分为 48.9%，持续预训练事实知识评测得分为 46.2%，高于 SEAL 和监督微调。
• 在 AIME 24 上得分为 79.2%，在 AIME 25 上为 69.0%，在 HMMT 25 上为 46.1%，高于 SFT、GRPO 和在线策略自蒸馏。

这篇文章介绍的是一项研究，并未宣布产品或发布模型。