SemiAnalysis:キャッシュ済みならClaude Opus 5.5は長いコンテキストでも遅延がわずかだが、コールドスタートにはコストがかかる
SemiAnalysisは、Claude Opus 5.5を自社内で利用した際の初回トークン生成時間(TTFT)を測定しました。10月6日から11月8日までのリクエスト632,000件が対象です。これは同社の自社トラフィックに基づく数値であり、ベンダーのベンチマークではありません。
- コンテキストがキャッシュ済みの場合、p50 TTFTはトークン数50,000~100,000件で0.9秒、600,000件超で1.6秒に上昇しました。
- トークン数600,000件超の場合、p50 TTFTはキャッシュなしで3.5秒、キャッシュありで1.6秒と、約2倍の差がありました。p90では差は3.5倍で、キャッシュなしが10.7秒、キャッシュありが3.1秒でした。「キャッシュなし」とは、50,000トークン超を一から処理する必要があったことを意味します。
- リクエストのうち、キャッシュなしだったのはわずか1.8%でしたが、コンテキストの再処理によりOpus 5.5の利用額の約15%を占めました。その大半は一から起動する新しいサブエージェントによるもので、セッションの12%では、1時間以上アイドル状態になった後に再開するため約3ドルがかかりました。
このスレッドは11月17日、Xで29ポイント、15件のコメントを集めました。
ソース
- コンテキストが大きくなると、エージェントの応答は遅くなる?X · 15 件のコメント
こんなニュースをプッシュで。
使っているツールに変化があると、AI Tracker がお知らせします。