SemiAnalysis:对于缓存命中的 Claude Opus 5.5,长上下文几乎不会增加延迟,但冷启动代价高
SemiAnalysis 根据其内部使用 Claude Opus 5.5 的情况,测量了首词元时间(TTFT):10 月 6 日至 11 月 8 日共运行了 632K 次请求。这些数据来自该公司的自身流量,并非供应商基准测试。
- 使用缓存上下文时,p50 TTFT 从 50–100K 个词元时的 0.9 秒升至 600K+ 个词元时的 1.6 秒。
- 在 600K+ 个词元时,未命中缓存的 p50 TTFT 为 3.5 秒,缓存命中时为 1.6 秒,约为 2 倍。p90 差距为 3.5 倍:未命中缓存时为 10.7 秒,缓存命中时为 3.1 秒。“未命中缓存”指需要从头处理超过 50K 个词元。
- 只有 1.8% 的请求属于这种未命中缓存的情况,但重新处理上下文约占其 Opus 5.5 开支的 15%。大多数是从头启动的新子代理;有 12% 的会话在闲置超过一小时后恢复,花费约 3 美元。
这条帖子于 11 月 17 日在 X 上获得 29 个积分和 15 条评论。
来源
- 更大的上下文会让你的智能体响应变慢吗?X · 15 条评论
这样的新闻,第一时间推送给你。
你用的 AI 工具一有变化,AI Tracker 就会提醒你。