Google Research propõe uma fase de “sono” para que LLMs continuem aprendendo sem esquecer

O Google Research publicou “The sleep framework” em 27 de outubro de 2026 (Ali Behrouz e Vahab Mirrokni). O texto descreve uma abordagem de aprendizado contínuo na qual um modelo em produção alterna entre uma fase ativa, em que mantém novas informações na memória de curto prazo, e uma fase de sono, em que para de receber entradas e consolida essa memória nos próprios pesos.

Segundo a publicação, a consolidação libera blocos de memória Mixture-of-Experts de baixo rank pré-alocados e destila o contexto de curto prazo neles; em seguida, redefine os parâmetros temporários. Em uma etapa de “sonho”, o modelo gera exemplos sintéticos de treino com especialistas ativados aleatoriamente, filtra-os por seleção baseada em gradientes e faz fine-tuning com os melhores.

Os autores relatam resultados de seus próprios experimentos:

• Queda de desempenho quase nula em tradução contínua para idiomas não vistos, como manchu e kalamang, nos quais o aprendizado em contexto, Cartridges e o fine-tuning supervisionado esqueceram conteúdo anterior.
• Desempenho quase perfeito em escalas de até 10M de tokens no BABILong, à frente de baselines como GPT-4 e Titans.
• 48,9% em avaliações de conhecimento factual de tarefa única e 46,2% em avaliações após pré-treinamento contínuo no SQuAD, à frente de SEAL e do fine-tuning supervisionado.
• 79,2% no AIME 24, 69,0% no AIME 25 e 46,1% no HMMT 25, à frente de SFT, GRPO e autodestilação on-policy.

A publicação descreve uma pesquisa; não anuncia um produto nem lança um modelo.