Google Research propone una fase di «sonno» per consentire agli LLM di continuare ad apprendere senza dimenticare

Il 27 ottobre 2026, Google Research ha pubblicato «The sleep framework» (Ali Behrouz e Vahab Mirrokni). Descrive un approccio all’apprendimento continuo in cui un modello distribuito alterna una fase attiva, durante la quale conserva le nuove informazioni nella memoria a breve termine, e una fase di sonno, in cui smette di ricevere input e consolida quella memoria nei propri pesi.

Secondo il post, il consolidamento sblocca blocchi di memoria Mixture-of-Experts a basso rango preallocati e vi distilla il contesto a breve termine, per poi azzerare i parametri temporanei. In una fase di «sogno», il modello genera esempi sintetici per esercitarsi con esperti attivati casualmente, li filtra tramite una selezione basata sui gradienti e si perfeziona sui migliori.

Gli autori riportano i risultati dei propri esperimenti:

• Calo delle prestazioni quasi nullo nella traduzione continua in lingue mai viste prima, come il manciù e il kalamango, mentre l’apprendimento in contesto, Cartridges e il fine-tuning supervisionato dimenticavano il materiale precedente.
• Scalabilità quasi perfetta fino a 10M token su BABILong, superando le baseline, tra cui GPT-4 e Titans.
• 48.9% nelle valutazioni della conoscenza fattuale su SQuAD con un singolo task e 46.2% con pretraining continuato, superando SEAL e il fine-tuning supervisionato.
• 79.2% su AIME 24, 69.0% su AIME 25 e 46.1% su HMMT 25, superando SFT, GRPO e l’autodistillazione on-policy.

Il post descrive una ricerca; non annuncia un prodotto né il rilascio di un modello.