Google Research propone una fase de «sueño» para que los LLM sigan aprendiendo sin olvidar

Google Research publicó «The sleep framework» el 27 de octubre de 2026 (Ali Behrouz y Vahab Mirrokni). Describe un enfoque de aprendizaje continuo en el que un modelo desplegado alterna entre una fase activa, en la que mantiene la información nueva en la memoria a corto plazo, y una fase de sueño, en la que deja de recibir entradas y consolida esa memoria en sus pesos.

Según la publicación, la consolidación habilita bloques de memoria de Mixture-of-Experts de rango bajo preasignados y destila el contexto a corto plazo en ellos; después, restablece los parámetros temporales. En un paso de «ensoñación», el modelo genera ejemplos sintéticos de práctica con expertos activados aleatoriamente, los filtra mediante selección basada en gradientes y ajusta el modelo con los mejores.

Los autores informan de resultados obtenidos en sus propios experimentos:

• Caída de rendimiento casi nula en traducción continua a idiomas no vistos, como el manchú y el kalamango, donde el aprendizaje en contexto, Cartridges y el ajuste fino supervisado olvidaron el material anterior.
• Escalado casi perfecto hasta 10M tokens en BABILong, por delante de referencias que incluyen GPT-4 y Titans.
• 48.9% en la evaluación de conocimiento factual de una sola tarea y 46.2% en la de preentrenamiento continuo de conocimiento factual en SQuAD, por delante de SEAL y del ajuste fino supervisado.
• 79.2% en AIME 24, 69.0% en AIME 25 y 46.1% en HMMT 25, por delante de SFT, GRPO y la autodestilación on-policy.

La publicación describe una investigación; no anuncia un producto ni el lanzamiento de un modelo.