Google Research schlägt eine „Schlafphase“ vor, damit LLMs weiterlernen können, ohne zu vergessen

Google Research veröffentlichte „The sleep framework“ am 27. Oktober 2026 (Ali Behrouz und Vahab Mirrokni). Darin wird ein Ansatz für kontinuierliches Lernen beschrieben, bei dem ein bereitgestelltes Modell zwischen einer aktiven Phase, in der neue Informationen im Kurzzeitgedächtnis gespeichert werden, und einer Schlafphase wechselt, in der es keine Eingaben mehr entgegennimmt und diese Erinnerungen in seinen Gewichten festigt.

Dem Beitrag zufolge werden bei der Konsolidierung vorab reservierte, speichergestützte Mixture-of-Experts-Blöcke mit niedrigrangigen Matrizen freigeschaltet und der Kurzzeitkontext in sie destilliert. Anschließend werden die temporären Parameter zurückgesetzt. In einem „Dreaming“-Schritt erzeugt das Modell synthetische Übungsbeispiele mit zufällig aktivierten Experten, filtert sie anhand einer gradientenbasierten Auswahl und optimiert das Modell anhand der besten Beispiele weiter.

Die Autoren berichten über Ergebnisse aus eigenen Experimenten:

• Nahezu kein Leistungsabfall beim kontinuierlichen Übersetzen in zuvor ungesehenen Sprachen wie Manchu und Kalamang, bei denen In-Context Learning, Cartridges und überwachtes Fine-Tuning zuvor Gelerntes vergessen ließen.
• Nahezu perfekte Skalierung auf bis zu 10M Tokens bei BABILong, vor Baselines wie GPT-4 und Titans.
• 48.9% bei Single-Task- und 46.2% bei Faktenwissen-Evaluierungen nach fortgesetztem Pretraining auf SQuAD, vor SEAL und überwachtem Fine-Tuning.
• 79.2% bei AIME 24, 69.0% bei AIME 25 und 46.1% bei HMMT 25, vor SFT, GRPO und On-Policy-Selbstdestillation.

Der Beitrag beschreibt Forschung; er kündigt weder ein Produkt an noch veröffentlicht er ein Modell.