Anthropic menjelaskan komponen memori agen dan «bermimpi»

Pada 6 November, Anthropic menerbitkan tulisan berjudul "The components of agent memory" tentang cara mereka memandang memori untuk agen Claude dan manfaat «bermimpi». Anthropic mendefinisikan memori agen sebagai hal yang dipelajari Claude dari pengalaman dan disimpan sebagai catatan agar dapat dibaca kembali di sesi berikutnya; perubahan bobot, pembelajaran dalam konteks, dan pemadatan tidak termasuk dalam definisi tersebut. Anthropic menggambarkan «bermimpi» sebagai proses agen meninjau log dan transkripnya di antara sesi untuk memperbaiki kesalahan, menulis catatan baru, dan membangun representasi memori baru.

Temuan yang dilaporkan Anthropic dari evaluasi internalnya:

• Siklus pembelajaran. Pada tugas basis data dari Continual Learning Bench (CL-Bench) 1.0 yang dijalankan dengan Claude Managed Agents, Anthropic mengatakan Claude Opus 5 adalah model pertama yang menuntaskan siklusnya: mencatat kegagalan, menguji teori, lalu mengubahnya menjadi aturan. Anthropic mengatakan Opus 5.5 dan Sonnet 5.5 juga menuntaskan siklus tersebut.
• Menilai apa yang perlu disimpan. Dalam Pokémon Red, Anthropic mengatakan Claude Sonnet 3.7 menulis 413 file memori dan mendapat satu lencana, sedangkan Fable 5 menulis sembilan file ditambah global.md dan mendapat empat lencana.
• Pengarahan. Memberi tahu Claude bahwa folder memori tersedia saja sudah cukup untuk Opus 4.7 dan Opus 5. Aturan untuk "hanya mencatat kegagalan" mengurangi sebagian besar peningkatan yang mereka peroleh dari memori. Meminta Sonnet 4.6 membaca memorinya dan menguji teorinya hampir menggandakan skornya.
• Memperbaiki memori. Proses «bermimpi» mencocokkan catatan yang keliru tentang lokasi Pokémon Center dengan transkrip sesi, lalu memperbaikinya. Dalam proses dengan catatan yang telah diperbaiki, agen berhasil melewati Mt. Moon, sedangkan dengan catatan yang belum diperbaiki, agen tidak berhasil.
• Wiki. Dengan menggunakan sekitar 350.000 file (kira-kira 420M token) dari Stainless, yang menurut Anthropic diakuisisi pada Mei, Anthropic meminta agen Opus 5 membangun wiki selama 128 sesi. Performa pada 25 pertanyaan meningkat dari 13% menjadi 48% kriteria penilaian. Pencarian ditambah wiki mendapat skor 61%, dibandingkan 53% untuk pencarian saja, serta menghemat sekitar 20.000 token per pertanyaan. Pada beberapa tugas penyusunan pendapat hukum, wiki tidak menunjukkan peningkatan yang jelas.

Unggahan Anthropic di X yang mengumumkan bahwa mereka meraih 1.432 poin pada malam 6 November.