Google Research ने LLMs के लिए “स्लीप” चरण का प्रस्ताव रखा, ताकि वे भूलने के बिना सीखते रह सकें

Google Research ने 27 अक्टूबर, 2026 को “The sleep framework” प्रकाशित किया (Ali Behrouz और Vahab Mirrokni)। इसमें निरंतर सीखने का एक ऐसा तरीका बताया गया है, जिसमें तैनात मॉडल एक सक्रिय चरण—जहाँ नई जानकारी अल्पकालिक स्मृति में रखी जाती है—और एक स्लीप चरण के बीच बारी-बारी से जाता है। स्लीप चरण में मॉडल इनपुट लेना बंद कर देता है और उस स्मृति को अपने वेट्स में समेकित करता है।

पोस्ट के अनुसार, समेकन पहले से आवंटित लो-रैंक Mixture-of-Experts मेमोरी ब्लॉक्स को सक्रिय करता है और अल्पकालिक संदर्भ को उनमें डिस्टिल करता है, फिर अस्थायी पैरामीटर रीसेट कर देता है। “ड्रीमिंग” चरण में मॉडल बेतरतीब ढंग से सक्रिय किए गए एक्सपर्ट्स की मदद से सिंथेटिक अभ्यास उदाहरण बनाता है, उन्हें ग्रेडिएंट-आधारित चयन से छाँटता है और सबसे अच्छे उदाहरणों पर फ़ाइन-ट्यून करता है।

लेखक अपने प्रयोगों के नतीजे बताते हैं:

• मांचू और कलामांग जैसी अनदेखी भाषाओं में निरंतर अनुवाद पर प्रदर्शन में लगभग कोई गिरावट नहीं; जबकि इन-कॉन्टेक्स्ट लर्निंग, Cartridges और सुपरवाइज़्ड फ़ाइन-ट्यूनिंग में पहले सीखी सामग्री भूल गई।
• BABILong पर 10M टोकन तक लगभग परफ़ेक्ट स्केलिंग, जिसमें GPT-4 और Titans समेत बेसलाइन से बेहतर नतीजे मिले।
• SQuAD पर सिंगल-टास्क मूल्यांकन में 48.9% और निरंतर प्रीट्रेनिंग के तथ्यात्मक ज्ञान मूल्यांकन में 46.2%, जो SEAL और सुपरवाइज़्ड फ़ाइन-ट्यूनिंग से बेहतर है।
• AIME 24 पर 79.2%, AIME 25 पर 69.0% और HMMT 25 पर 46.1%, जो SFT, GRPO और ऑन-पॉलिसी सेल्फ़-डिस्टिलेशन से बेहतर है।

यह पोस्ट शोध का विवरण है; इसमें किसी उत्पाद की घोषणा या मॉडल रिलीज़ नहीं की गई है।