Messages API Claude menambahkan thread percakapan dalam beta publik, dengan percakapan di-cache di server

Akun ClaudeDevs milik Anthropic menyebutkan bahwa thread percakapan kini tersedia dalam beta publik di Messages API. API menyimpan percakapan di server di antara giliran, sehingga permintaan hanya memuat pesan baru dan ID pesan sebelumnya, bukan seluruh riwayat, dan Claude mulai merespons lebih cepat.

Anthropic mengatakan pihaknya telah mengintegrasikan thread percakapan di Claude Code: untuk permintaan berukuran 500K hingga 1M token, median waktu hingga token pertama sekitar 35% lebih rendah, dan dalam percakapan panjang, median ukuran permintaan turun dari sekitar 800 KB menjadi 1,8 KB. Untuk menggunakannya, tambahkan parameter thread dan header beta ke permintaan. Anthropic mengatakan fitur ini tersedia di Claude Platform, Claude Platform di AWS, Claude di Microsoft Foundry, dan Claude di Google Cloud, dengan tarif token standar. Angka-angka tersebut berasal dari Anthropic sendiri.

Artikel Anthropic menjelaskan rinciannya: permintaan pertama memuat seluruh percakapan dan memulai sebuah thread, lalu setiap permintaan berikutnya mengirim pesan baru beserta ID respons sebelumnya. Thread disimpan di memori, dienkripsi, dan tidak ditulis ke disk. Thread kedaluwarsa 5 menit setelah permintaan terakhir, setelah itu klien mengirim ulang seluruh percakapan untuk memulai thread baru. Claude tetap membaca seluruh percakapan pada setiap giliran, sehingga penggunaan token tidak berubah. Anthropic mengatakan fitur ini cocok untuk agen coding yang berjalan lama, agen penggunaan komputer (screenshot tetap berada dalam thread), serta alur kerja yang banyak menggunakan dokumen atau gambar, dan bahwa thread percakapan diaktifkan secara default bagi sebagian besar pengguna Claude Code.