Anthropic legt de onderdelen van agentgeheugen en ‘dromen’ uit

Anthropic publiceerde op 6 november een artikel, ‘The components of agent memory’, over hoe het geheugen voor Claude-agents ziet en hoe ‘dromen’ daarbij helpt. Anthropic definieert agentgeheugen als wat Claude uit ervaring leert en tussen sessies bewaart als notities die het later kan lezen; veranderingen aan gewichten, leren binnen de context en compaction vallen buiten die definitie. Het beschrijft dromen als het terugblikken van de agent op zijn logboeken en transcripties tussen sessies door, om fouten te herstellen, nieuwe notities te schrijven en nieuwe geheugenstructuren op te bouwen.

Bevindingen die Anthropic rapporteert op basis van eigen evaluaties:

• Leerlussen. Bij een databasetaak uit Continual Learning Bench (CL-Bench) 1.0, uitgevoerd met Claude Managed Agents, zegt Anthropic dat Claude Opus 5 als eerste model de leerlus rondmaakte: een fout vastleggen, theorieën testen en daar een regel van maken. Volgens Anthropic deden Opus 5.5 en Sonnet 5.5 dat ook.
• Bepalen wat je bewaart. In Pokémon Red schreef Claude Sonnet 3.7 volgens Anthropic 413 geheugenbestanden en verdiende het één badge, terwijl Fable 5 negen bestanden plus een global.md schreef en er vier verdiende.
• Bijsturen. Claude alleen vertellen dat er een geheugenmap bestaat, was genoeg voor Opus 4.7 en Opus 5. Een regel om ‘alleen fouten vast te leggen’ verminderde een groot deel van hun winst uit het geheugen. Sonnet 4.6 vragen om zijn geheugen te lezen en zijn theorieën te testen, verdubbelde de score bijna.
• Geheugen corrigeren. Tijdens het dromen controleerde het model een onjuiste notitie over de locatie van een Pokémon Center aan de hand van het sessietranscript en herschreef die. De run met de gecorrigeerde notitie kwam door Mt. Moon, terwijl dat met de ongecorrigeerde notitie niet lukte.
• Wiki’s. Met ongeveer 350.000 bestanden (zo’n 420M tokens) van Stainless, dat Anthropic naar eigen zeggen in mei heeft overgenomen, liet het Opus 5-agents in 128 sessies een wiki opbouwen. De prestaties op 25 vragen stegen van 13% naar 48% van de beoordeelde criteria. Zoeken plus de wiki scoorde 61%, tegenover 53% voor alleen zoeken, en bespaarde ongeveer 20.000 tokens per vraag. Bij sommige taken rond juridische pleidooien leverde de wiki geen duidelijke verbetering op.

Anthropics bericht op X waarin het aankondigde dat het op de avond van 6 november 1.432 punten had.