Google Research propose une phase de « sommeil » pour que les LLM puissent continuer à apprendre sans oublier

Google Research a publié « The sleep framework » le 27 octobre 2026 (Ali Behrouz et Vahab Mirrokni). L’article décrit une approche d’apprentissage continu dans laquelle un modèle déployé alterne entre une phase active, où il conserve les nouvelles informations dans une mémoire à court terme, et une phase de sommeil, où il cesse de recevoir des entrées et consolide cette mémoire dans ses poids.

Selon l’article, la consolidation déverrouille des blocs mémoire Mixture-of-Experts de faible rang préalloués et distille le contexte à court terme dans ces blocs, puis réinitialise les paramètres temporaires. Lors d’une étape de « rêve », le modèle génère des exemples d’entraînement synthétiques avec des experts activés aléatoirement, les filtre à l’aide d’une sélection fondée sur les gradients, puis affine le modèle sur les meilleurs exemples.

Les auteurs rapportent les résultats de leurs propres expériences :

• Une baisse de performance quasi nulle en traduction continue dans des langues non vues telles que le mandchou et le kalam, alors que l’apprentissage en contexte, Cartridges et l’affinage supervisé ont fait oublier les éléments précédents.
• Une mise à l’échelle quasi parfaite jusqu’à 10M tokens sur BABILong, devant des références comme GPT-4 et Titans.
• 48.9% en évaluation des connaissances factuelles sur une seule tâche et 46.2% en préentraînement continu sur SQuAD, devant SEAL et l’affinage supervisé.
• 79.2% sur AIME 24, 69.0% sur AIME 25 et 46.1% sur HMMT 25, devant SFT, GRPO et l’auto-distillation on-policy.

L’article présente des travaux de recherche ; il n’annonce ni produit ni lancement de modèle.