Claude Messages API 公開測試版新增訊息串列,在伺服器端快取對話
Anthropic 的 ClaudeDevs 帳號表示,Messages API 現已公開測試訊息串列。API 會在每輪對話之間將對話保留在伺服器端,因此請求只需傳送新訊息和前一則訊息的 ID,無須附上完整歷史紀錄,Claude 也能更快開始回應。
Anthropic 表示,已在 Claude Code 中整合訊息串列:對於 500K 至 1M 個 token 的請求,首次產生 token 的中位時間約縮短 35%;在長對話中,請求大小的中位數則從約 800 KB 降至 1.8 KB。使用時,請在請求中加入 thread 參數和 beta 標頭。Anthropic 表示,此功能可在 Claude Platform、AWS 上的 Claude Platform、Microsoft Foundry 中的 Claude,以及 Google Cloud 上的 Claude 使用,費率與標準 token 費率相同。這些數據來自 Anthropic 自行公布。
Anthropic 的文章補充了詳細資訊:第一個請求會傳送完整對話並建立一個 thread,之後每個請求都會傳送新訊息及前一個回應的 ID。Thread 會保留在記憶體中、經過加密且不會寫入磁碟,並會在最後一個請求後 5 分鐘到期;到期後,用戶端須重新傳送完整對話以建立新的 thread。Claude 每輪仍會讀取整段對話,因此 token 用量維持不變。Anthropic 表示,此功能適用於長時間執行的程式編寫代理、電腦操作代理(螢幕截圖會隨 thread 保留),以及大量使用文件或圖片的工作流程;大多數 Claude Code 使用者預設已啟用訊息串列。
來源
- Messages API 的訊息串列現已進入公開測試版。X · 97 則留言
這樣的新聞,第一時間推播給你。
你使用的 AI 工具一有變化,AI Tracker 就會通知你。