Messages API của Claude bổ sung luồng hội thoại trong giai đoạn beta công khai, lưu cuộc trò chuyện trên máy chủ

Tài khoản ClaudeDevs của Anthropic cho biết luồng hội thoại hiện đã có trong giai đoạn beta công khai trên Messages API. API lưu cuộc trò chuyện trên máy chủ giữa các lượt, nên mỗi yêu cầu chỉ cần gửi tin nhắn mới và ID của tin nhắn trước đó thay vì toàn bộ lịch sử; nhờ vậy Claude bắt đầu phản hồi sớm hơn.

Anthropic cho biết họ đã tích hợp luồng hội thoại vào Claude Code: với các yêu cầu từ 500K đến 1M token, thời gian trung vị đến token đầu tiên giảm khoảng 35%, còn trong các cuộc trò chuyện dài, kích thước yêu cầu trung vị giảm từ khoảng 800 KB xuống 1.8 KB. Để sử dụng, hãy thêm tham số thread và beta header vào yêu cầu. Anthropic cho biết tính năng này có trên Claude Platform, Claude Platform on AWS, Claude in Microsoft Foundry và Claude on Google Cloud, với mức giá token tiêu chuẩn. Các số liệu này do Anthropic công bố.

Bài viết của Anthropic bổ sung chi tiết: yêu cầu đầu tiên gửi toàn bộ cuộc trò chuyện và tạo một luồng; mỗi yêu cầu sau đó gửi tin nhắn mới cùng ID của phản hồi trước. Luồng được lưu trong bộ nhớ, mã hóa và không ghi vào ổ đĩa; chúng hết hạn 5 phút sau yêu cầu cuối cùng. Sau đó, ứng dụng khách gửi lại toàn bộ cuộc trò chuyện để bắt đầu luồng mới. Claude vẫn đọc toàn bộ cuộc trò chuyện ở mỗi lượt, nên lượng token sử dụng không đổi. Anthropic cho biết tính năng này phù hợp với các tác nhân lập trình chạy lâu, tác nhân sử dụng máy tính (ảnh chụp màn hình được giữ cùng luồng) và quy trình làm việc có nhiều tài liệu hoặc hình ảnh; đồng thời, luồng hội thoại được bật mặc định cho hầu hết người dùng Claude Code.