Google Research, LLM'lerin unutmadan öğrenmeye devam edebilmesi için bir "uyku" aşaması öneriyor

Google Research, "The sleep framework" başlıklı çalışmasını 27 Ekim 2026'da yayımladı (Ali Behrouz ve Vahab Mirrokni). Çalışma, dağıtıma alınmış bir modelin yeni bilgileri kısa süreli bellekte tuttuğu etkin aşama ile girdi almayı durdurup bu belleği ağırlıklarına aktardığı uyku aşaması arasında geçiş yaptığı bir sürekli öğrenme yaklaşımını açıklıyor.

Yazıya göre bellek pekiştirme, önceden ayrılmış düşük ranklı Mixture-of-Experts bellek bloklarını etkinleştiriyor ve kısa süreli bağlamı bu bloklara damıttıktan sonra geçici parametreleri sıfırlıyor. Bir "rüya görme" adımında model, rastgele etkinleştirilen uzmanlarla sentetik alıştırma örnekleri üretiyor, bunları gradyan tabanlı seçimle filtreliyor ve en iyileriyle ince ayar yapıyor.

Yazarlar kendi deneylerinden şu sonuçları bildiriyor:

• Mançu ve Kalamang gibi görülmemiş dillerde sürekli çeviri görevlerinde performans kaybı neredeyse sıfır; bağlam içi öğrenme, Cartridges ve denetimli ince ayar önceki bilgileri unutmuş.
• BABILong'da 10M tokene kadar neredeyse kusursuz ölçeklenme; GPT-4 ve Titans'ın da aralarında bulunduğu temel yöntemlerin önünde.
• SQuAD'de tek görev değerlendirmesinde %48,9, devam eden ön eğitimle yapılan olgusal bilgi değerlendirmesinde %46,2; SEAL ve denetimli ince ayarın önünde.
• AIME 24'te %79,2, AIME 25'te %69,0 ve HMMT 25'te %46,1; SFT, GRPO ve on-policy self-distillation yöntemlerinin önünde.

Yazı bir araştırma açıklamasıdır; ürün duyurusu yapmıyor veya model yayımlamıyor.