Google Research stelt een ‘slaapfase’ voor, zodat LLM’s kunnen blijven leren zonder te vergeten

Google Research publiceerde op 27 oktober 2026 ‘The sleep framework’ (Ali Behrouz en Vahab Mirrokni). Het beschrijft een aanpak voor continu leren waarbij een geïmplementeerd model afwisselt tussen een actieve fase, waarin nieuwe informatie in het kortetermijngeheugen wordt opgeslagen, en een slaapfase, waarin het geen input meer verwerkt en dat geheugen consolideert in de modelgewichten.

Volgens het bericht maakt consolidatie vooraf toegewezen low-rank Mixture-of-Experts-geheugenblokken vrij en distilleert het kortetermijncontext daarin, waarna de tijdelijke parameters worden gereset. Tijdens een stap die ‘dreaming’ wordt genoemd, genereert het model synthetische oefenvoorbeelden met willekeurig geactiveerde experts, filtert het die op basis van gradiëntselectie en finetunet het op de beste voorbeelden.

De auteurs rapporteren resultaten uit hun eigen experimenten:

• Bijna geen prestatieverlies bij continu vertalen naar niet eerder geziene talen zoals Manchu en Kalamang, waarbij in-context learning, Cartridges en supervised fine-tuning eerder materiaal vergaten.
• Bijna perfecte schaalbaarheid tot 10M tokens op BABILong, beter dan baselines waaronder GPT-4 en Titans.
• 48,9% bij evaluaties van feitelijke kennis op SQuAD voor één taak en 46,2% bij verdere pretraining, beter dan SEAL en supervised fine-tuning.
• 79,2% op AIME 24, 69,0% op AIME 25 en 46,1% op HMMT 25, beter dan SFT, GRPO en on-policy self-distillation.

Het bericht beschrijft onderzoek; het kondigt geen product aan en brengt geen model uit.