Google Research mengusulkan fase "tidur" agar LLM dapat terus belajar tanpa melupakan

Google Research menerbitkan "The sleep framework" pada 27 Oktober 2026 (Ali Behrouz dan Vahab Mirrokni). Tulisan ini menjelaskan pendekatan pembelajaran berkelanjutan yang membuat model yang sudah diterapkan bergantian antara fase aktif, saat informasi baru disimpan dalam memori jangka pendek, dan fase tidur, saat model berhenti menerima masukan dan mengonsolidasikan memori tersebut ke dalam bobotnya.

Menurut tulisan itu, konsolidasi membuka blok memori Mixture-of-Experts berperingkat rendah yang telah dialokasikan sebelumnya dan menyuling konteks jangka pendek ke dalamnya, lalu mengatur ulang parameter sementara. Dalam langkah "bermimpi", model menghasilkan contoh latihan sintetis dengan mengaktifkan pakar secara acak, menyaringnya melalui seleksi berbasis gradien, lalu melakukan fine-tuning menggunakan contoh terbaik.

Para penulis melaporkan hasil dari eksperimen mereka sendiri:

• Penurunan kinerja nyaris nol pada penerjemahan berkelanjutan dalam bahasa yang belum pernah ditemui, seperti Manchu dan Kalamang, sementara pembelajaran dalam konteks, Cartridges, dan supervised fine-tuning melupakan materi sebelumnya.
• Penskalaan nyaris sempurna hingga 10M token di BABILong, mengungguli baseline termasuk GPT-4 dan Titans.
• 48.9% pada evaluasi pengetahuan faktual tugas tunggal dan 46.2% pada evaluasi pengetahuan faktual continued pretraining di SQuAD, mengungguli SEAL dan supervised fine-tuning.
• 79.2% di AIME 24, 69.0% di AIME 25, dan 46.1% di HMMT 25, mengungguli SFT, GRPO, dan penyulingan diri on-policy.

Tulisan ini merupakan uraian riset; tidak mengumumkan produk atau merilis model.