AI TrackerTải ứng dụng
← Tất cả tin tức

SemiAnalysis: ngữ cảnh dài ít làm tăng độ trễ trên Claude Opus 5.5 khi đã được cache, nhưng khởi chạy lạnh thì tốn thời gian

SemiAnalysis đo thời gian đến token đầu tiên (TTFT) trong quá trình sử dụng Claude Opus 5.5 nội bộ: 632K yêu cầu được thực hiện từ ngày 6 tháng 10 đến ngày 8 tháng 11. Đây là số liệu từ lưu lượng riêng của công ty, không phải điểm chuẩn do nhà cung cấp công bố.

  • Với ngữ cảnh đã được cache, TTFT p50 tăng từ 0,9 giây ở mức 50–100K token lên 1,6 giây ở mức 600K+ token.
  • Ở mức 600K+ token, TTFT p50 là 3,5 giây khi không được cache, so với 1,6 giây khi được cache — chênh lệch khoảng 2 lần. Ở p90, chênh lệch là 3,5 lần: 10,7 giây khi không được cache so với 3,1 giây khi được cache. “Không được cache” nghĩa là phải xử lý lại từ đầu hơn 50K token.
  • Chỉ 1,8% yêu cầu thuộc trường hợp không được cache này, nhưng việc xử lý lại ngữ cảnh chiếm khoảng 15% chi phí sử dụng Opus 5.5. Phần lớn là các subagent mới bắt đầu từ đầu, và 12% phiên phải trả khoảng 3 USD để tiếp tục sau khi không hoạt động hơn một giờ.

Bài đăng trên X có 29 điểm và 15 bình luận vào ngày 17 tháng 11.

Nhận tin như thế này qua thông báo đẩy.

AI Tracker báo cho bạn khi công cụ bạn dùng có thay đổi.

Tải ứng dụng