Claude Messages API 公测新增消息线程,在服务器端缓存对话
Anthropic 的 ClaudeDevs 账号称,Messages API 现已公测消息线程。API 会在各轮对话之间将对话保留在服务器端,因此请求只需携带新消息和上一条消息的 ID,无需发送完整历史记录,Claude 也能更快开始响应。
Anthropic 称,已在 Claude Code 中集成消息线程:对于 500K 至 1M token 的请求,首次生成 token 的中位时间降低了约 35%;在长对话中,请求的中位大小从约 800 KB 缩减至 1.8 KB。要使用此功能,请在请求中添加 thread 参数和 beta 标头。Anthropic 称,该功能可在 Claude Platform、AWS 上的 Claude Platform、Microsoft Foundry 中的 Claude 以及 Google Cloud 上的 Claude 使用,按标准 token 费率计费。以上数据均来自 Anthropic。
Anthropic 的文章补充了详细信息:第一个请求会携带完整对话并开启一个线程,之后每个请求发送新消息以及上一条响应的 ID。线程会保存在内存中并经过加密,不会写入磁盘;最后一次请求后 5 分钟即过期,届时客户端需重新发送完整对话以开启新线程。Claude 仍会在每轮对话中读取整个对话,因此 token 用量不变。Anthropic 称,该功能适用于长时间运行的编码代理、计算机使用代理(屏幕截图会随线程保留),以及包含大量文档或图像的工作流;大多数 Claude Code 用户已默认启用消息线程。
来源
- Messages API 现已公测消息线程。X · 97 条评论
这样的新闻,第一时间推送给你。
你用的 AI 工具一有变化,AI Tracker 就会提醒你。