AI Tracker下载 App
← 全部新闻

SemiAnalysis:对于缓存命中的 Claude Opus 5.5,长上下文几乎不会增加延迟,但冷启动代价高

SemiAnalysis 根据其内部使用 Claude Opus 5.5 的情况,测量了首词元时间(TTFT):10 月 6 日至 11 月 8 日共运行了 632K 次请求。这些数据来自该公司的自身流量,并非供应商基准测试。

  • 使用缓存上下文时,p50 TTFT 从 50–100K 个词元时的 0.9 秒升至 600K+ 个词元时的 1.6 秒。
  • 在 600K+ 个词元时,未命中缓存的 p50 TTFT 为 3.5 秒,缓存命中时为 1.6 秒,约为 2 倍。p90 差距为 3.5 倍:未命中缓存时为 10.7 秒,缓存命中时为 3.1 秒。“未命中缓存”指需要从头处理超过 50K 个词元。
  • 只有 1.8% 的请求属于这种未命中缓存的情况,但重新处理上下文约占其 Opus 5.5 开支的 15%。大多数是从头启动的新子代理;有 12% 的会话在闲置超过一小时后恢复,花费约 3 美元。

这条帖子于 11 月 17 日在 X 上获得 29 个积分和 15 条评论。

这样的新闻,第一时间推送给你。

你用的 AI 工具一有变化,AI Tracker 就会提醒你。

下载 App