AI Tracker下載 App
← 所有新聞

SemiAnalysis:Claude Opus 5.5 使用快取時,長上下文只會略微增加延遲;但冷啟動成本高

SemiAnalysis 根據內部使用 Claude Opus 5.5 的情況,測量了首次 Token 延遲(TTFT):10 月 6 日至 11 月 8 日共 632K 次請求。這些是該公司自身流量的數據,並非供應商基準測試。

  • 使用快取上下文時,p50 TTFT 從 50–100K 個 Token 時的 0.9 秒,上升至 600K+ 個 Token 時的 1.6 秒。
  • 在 600K+ 個 Token 時,未使用快取的 p50 TTFT 為 3.5 秒,使用快取則為 1.6 秒,約相差 2 倍。p90 的差距為 3.5 倍:未使用快取為 10.7 秒,使用快取為 3.1 秒。「未使用快取」意指必須從頭處理超過 50K 個 Token。
  • 只有 1.8% 的請求屬於未使用快取,但重新處理這些上下文約占其 Opus 5.5 支出的 15%。大多數是從頭啟動的新子代理程式;有 12% 的工作階段在閒置超過一小時後恢復,花費約 3 美元。

這則貼文於 11 月 17 日在 X 上獲得 29 點和 15 則留言。

這樣的新聞,第一時間推播給你。

你使用的 AI 工具一有變化,AI Tracker 就會通知你。

下載 App