Google Research、LLMが忘れずに学習を続けられる「sleep」フェーズを提案

Google Researchは2026年10月27日、Ali Behrouz氏とVahab Mirrokni氏による「The sleep framework」を公開しました。これは継続学習のアプローチで、デプロイ済みモデルが、新しい情報を短期記憶に保持するアクティブフェーズと、入力の受け付けを止め、その記憶を重みに統合するsleepフェーズを交互に繰り返します。

記事によると、統合時には事前に割り当てられた低ランクのMixture-of-Expertsメモリブロックを有効化し、短期コンテキストをそこに蒸留した後、一時的なパラメーターをリセットします。「dreaming」ステップでは、ランダムに有効化したエキスパートを使ってモデルに合成練習例を生成させ、勾配ベースの選別で絞り込んでから、最良の例でファインチューニングします。

著者らは独自の実験結果として、次のように報告しています。

• ManchuやKalamangなど、未学習の言語を使った継続翻訳で、性能低下はほぼゼロ。in-context learning、Cartridges、教師ありファインチューニングでは以前の内容を忘れていました。
• BABILongでは1,000万トークンまでほぼ完璧なスケーリングを達成し、GPT-4やTitansを含むベースラインを上回りました。
• SQuADの単一タスク評価で48.9%、継続事前学習の事実知識評価で46.2%を達成し、SEALと教師ありファインチューニングを上回りました。
• AIME 24で79.2%、AIME 25で69.0%、HMMT 25で46.1%を達成し、SFT、GRPO、オンポリシー自己蒸留を上回りました。

この記事は研究内容の説明であり、製品やモデルのリリースを発表するものではありません。