Google Research proponuje fazę „snu”, dzięki której LLM-y mogą stale się uczyć bez zapominania

Google Research opublikowało 27 października 2026 r. „The sleep framework” (Ali Behrouz i Vahab Mirrokni). Opisuje ono podejście do uczenia ciągłego, w którym wdrożony model naprzemiennie przechodzi przez fazę aktywną, w której przechowuje nowe informacje w pamięci krótkotrwałej, oraz fazę snu, gdy przestaje przyjmować dane wejściowe i konsoliduje tę pamięć w swoich wagach.

Jak podano we wpisie, konsolidacja odblokowuje wcześniej przydzielone bloki pamięci Mixture-of-Experts o niskim rzędzie i destyluje do nich kontekst krótkotrwały, a następnie resetuje parametry tymczasowe. W kroku „śnienia” model generuje syntetyczne przykłady treningowe z losowo aktywowanymi ekspertami, filtruje je za pomocą selekcji opartej na gradiencie i dostraja model na najlepszych z nich.

Autorzy podają wyniki własnych eksperymentów:

• Niemal zerowy spadek wyników w tłumaczeniu ciągłym na wcześniej niewidziane języki, takie jak manchu i kalamang, w przypadku których uczenie kontekstowe, Cartridges i nadzorowane dostrajanie powodowały zapominanie wcześniejszych treści.
• Niemal idealne skalowanie do 10M tokenów w BABILong, z wynikami lepszymi niż w przypadku punktów odniesienia, w tym GPT-4 i Titans.
• 48,9% w ewaluacji wiedzy faktograficznej po pojedynczym zadaniu i 46,2% po dalszym pretreningu na SQuAD — więcej niż SEAL i nadzorowane dostrajanie.
• 79,2% na AIME 24, 69,0% na AIME 25 i 46,1% na HMMT 25 — więcej niż SFT, GRPO i destylacja własna w trybie on-policy.

Wpis opisuje badania; nie zapowiada produktu ani nie udostępnia modelu.