Anthropic объясняет компоненты памяти агента и «сновидение»

6 ноября Anthropic опубликовала пост «Компоненты памяти агента» о том, как компания рассматривает память для агентов Claude и какую роль играет «сновидение». Anthropic определяет память агента как то, чему Claude учится на собственном опыте и что сохраняет между сессиями в виде заметок, к которым можно обратиться позже; изменение весов, обучение в контексте и сжатие в это определение не входят. «Сновидением» компания называет анализ агентом журналов и стенограмм между сессиями, чтобы исправлять ошибки, записывать новые заметки и создавать новые представления памяти.

Результаты собственных оценок Anthropic:

• Циклы обучения. В задаче с базой данных из Continual Learning Bench (CL-Bench) 1.0, запущенной с Claude Managed Agents, Claude Opus 5, по словам Anthropic, стал первой моделью, замкнувшей цикл: зафиксировать неудачу, проверить гипотезы и превратить их в правило. Компания сообщает, что Opus 5.5 и Sonnet 5.5 тоже замкнули этот цикл.
• Выбор того, что сохранить. В Pokémon Red, по данным Anthropic, Claude Sonnet 3.7 создал 413 файлов памяти и получил один значок, а Fable 5 создал девять файлов и global.md и получил четыре значка.
• Управление. Для Opus 4.7 и Opus 5 было достаточно сообщить, что существует папка памяти. Правило «записывать только неудачи» лишило их значительной части прироста от памяти. Если попросить Sonnet 4.6 читать свою память и проверять гипотезы, его результат почти удваивался.
• Исправление памяти. Во время «сновидения» агент сверил неверную заметку о местоположении Pokémon Center со стенограммой сессии и переписал её. В результате запуск с исправленной заметкой прошёл Mt. Moon, а с неисправленной — нет.
• Вики. Используя около 350 000 файлов (примерно 420 млн токенов) от Stainless, которую, по словам Anthropic, компания приобрела в мае, Anthropic поручила агентам Opus 5 создать вики за 128 сессий. Результат по 25 вопросам вырос с 13% до 48% критериев оценки. Поиск вместе с вики дал 61% против 53% у одного поиска и сэкономил около 20 000 токенов на вопрос. В некоторых задачах по подготовке юридических заключений вики не дала явного прироста.

Пост Anthropic в X с объявлением о том, что к вечеру 6 ноября компания набрала 1 432 балла.