Anthropic wyjaśnia elementy pamięci agentów i „śnienia”

Anthropic opublikowało 6 listopada wpis „The components of agent memory” o tym, jak podchodzi do pamięci agentów Claude i jak pomaga „śnienie”. Anthropic definiuje pamięć agenta jako wiedzę, którą Claude zdobywa przez doświadczenie i zachowuje między sesjami w postaci notatek, do których może później wrócić; zmiany wag, uczenie w kontekście i kompakcja nie mieszczą się w tej definicji. „Śnienie” opisuje jako analizowanie przez agenta logów i transkrypcji między sesjami w celu korygowania błędów, tworzenia nowych notatek i budowania nowych reprezentacji pamięci.

Wyniki, które Anthropic podaje na podstawie własnych ewaluacji:

• Pętle uczenia się. W zadaniu bazodanowym z Continual Learning Bench (CL-Bench) 1.0, przeprowadzonym z użyciem Claude Managed Agents, Anthropic twierdzi, że Claude Opus 5 był pierwszym modelem, który domknął pętlę: zapisał porażkę, sprawdził różne hipotezy i przekształcił je w regułę. Według firmy udało się to również modelom Opus 5.5 i Sonnet 5.5.
• Ocena, co zapisać. W Pokémon Red Claude Sonnet 3.7 utworzył 413 plików pamięci i zdobył jedną odznakę, podczas gdy Fable 5 utworzył dziewięć plików oraz global.md i zdobył cztery odznaki — podaje Anthropic.
• Ukierunkowanie. Wystarczyło powiedzieć Claude, że istnieje folder pamięci, by uzyskać ten efekt w przypadku Opus 4.7 i Opus 5. Reguła „zapisuj tylko porażki” znacznie ograniczyła korzyści, jakie dawała im pamięć. Polecenie, by Sonnet 4.6 czytał swoją pamięć i sprawdzał hipotezy, niemal podwoiło jego wynik.
• Korygowanie pamięci. Podczas „śnienia” sprawdzono błędną notatkę o położeniu Pokémon Center na podstawie transkrypcji sesji i poprawiono ją. Przebieg z poprawioną notatką pozwolił przejść przez Mt. Moon, podczas gdy ten z niepoprawioną — nie.
• Wiki. Korzystając z około 350 000 plików (mniej więcej 420 mln tokenów) z Stainless, które Anthropic, jak twierdzi, przejęło w maju, firma zleciła agentom Opus 5 zbudowanie wiki w 128 sesjach. Wynik w 25 pytaniach wzrósł z 13% do 48% ocenianych kryteriów. Wyszukiwanie wraz z wiki osiągnęło 61%, a samo wyszukiwanie 53%; rozwiązanie to pozwoliło też zaoszczędzić około 20 000 tokenów na pytanie. W niektórych zadaniach polegających na sporządzaniu pism procesowych wiki nie przyniosło wyraźnej poprawy.

Wpis Anthropic na X, w którym firma ogłosiła, że wieczorem 6 listopada miała 1 432 punkty.