AI Trackerアプリ
← すべてのニュース

SemiAnalysis:キャッシュ済みならClaude Opus 5.5は長いコンテキストでも遅延がわずかだが、コールドスタートにはコストがかかる

SemiAnalysisは、Claude Opus 5.5を自社内で利用した際の初回トークン生成時間(TTFT)を測定しました。10月6日から11月8日までのリクエスト632,000件が対象です。これは同社の自社トラフィックに基づく数値であり、ベンダーのベンチマークではありません。

  • コンテキストがキャッシュ済みの場合、p50 TTFTはトークン数50,000~100,000件で0.9秒、600,000件超で1.6秒に上昇しました。
  • トークン数600,000件超の場合、p50 TTFTはキャッシュなしで3.5秒、キャッシュありで1.6秒と、約2倍の差がありました。p90では差は3.5倍で、キャッシュなしが10.7秒、キャッシュありが3.1秒でした。「キャッシュなし」とは、50,000トークン超を一から処理する必要があったことを意味します。
  • リクエストのうち、キャッシュなしだったのはわずか1.8%でしたが、コンテキストの再処理によりOpus 5.5の利用額の約15%を占めました。その大半は一から起動する新しいサブエージェントによるもので、セッションの12%では、1時間以上アイドル状態になった後に再開するため約3ドルがかかりました。

このスレッドは11月17日、Xで29ポイント、15件のコメントを集めました。

こんなニュースをプッシュで。

使っているツールに変化があると、AI Tracker がお知らせします。

アプリを入手