Artificial Analysis chọn Thời gian mỗi tác vụ làm chỉ số nổi bật trong các bài đánh giá hiệu năng API

Artificial Analysis công bố phiên bản mới của bộ đánh giá hiệu năng API, bao quát khoảng 1.000 endpoint serverless được kiểm tra nhiều lần mỗi ngày về tốc độ, độ trễ và bộ nhớ đệm. Thời gian mỗi tác vụ—thời gian một mô hình cần để hoàn thành tác vụ—thay thế tốc độ truyền phát làm chỉ số nổi bật. Artificial Analysis lấy số token đầu ra của một mô hình trong mỗi tác vụ thuộc Intelligence Index chia cho Tốc độ đầu ra từ đầu đến cuối.

Các thay đổi được liệt kê:

• Tốc độ đầu ra từ đầu đến cuối hiện được đo từ lúc gửi yêu cầu đến token cuối cùng, nên thời gian chờ trước token đầu tiên (prefill và suy luận ẩn) cũng được tính. Số token đầu ra lấy từ số liệu API do từng nhà cung cấp báo cáo thay vì tokenizer o200k_base. Trong một câu trả lời, họ cho biết các yêu cầu thất bại hiện được tính là tốc độ 0.
• Khối lượng công việc dạng tác nhân được đưa vào mọi phép đo: prompt ngắn, dài cỡ tài liệu và ngữ cảnh dài, cùng các phiên lập trình nhiều lượt và xử lý tri thức. Các số liệu nổi bật là mức trung bình của những phép đo này trong 5 ngày qua.
• Mức độ nỗ lực mặc định của API được đánh giá song song với mức nỗ lực cao nhất, sử dụng mức mặc định riêng của mỗi phòng thí nghiệm, vì tên các mức nỗ lực không thể so sánh giữa các phòng thí nghiệm.

Các phát hiện của Artificial Analysis:

• Các mô hình OpenAI chiếm phần lớn trên biên Pareto giữa Intelligence và Thời gian mỗi tác vụ. Ở mức nỗ lực tối đa, GPT-6 Astra chạy ở tốc độ 51 token/giây nhưng hoàn thành một tác vụ trong khoảng 17 phút, so với khoảng 26 phút của Claude Opus 5.5 (111 token/giây) và khoảng 29 phút của Gemini 4 Carbon (71 token/giây), vì mô hình này dùng khoảng 50k token đầu ra mỗi tác vụ, so với khoảng 120k đến 170k.
• Mức nỗ lực mặc định giúp giảm Thời gian mỗi tác vụ khoảng 3 đến 5 lần và Chi phí mỗi tác vụ khoảng 2 đến 4 lần đối với GPT-6 Astra, GPT-6.1 Sol và Claude Opus 5.5—cả ba đều mặc định ở mức nỗ lực trung bình—đổi lại mất khoảng 5 đến 11 điểm Intelligence Index. Claude Opus 5.5 giảm từ khoảng 26 phút và $10.04 mỗi tác vụ ở mức tối đa xuống còn khoảng 6,8 phút và $2.45 ở mức trung bình.
• Các endpoint chỉ được tối ưu cho tốc độ giải mã bị giảm Tốc độ đầu ra từ đầu đến cuối nhiều nhất; theo báo cáo, các endpoint GLM-5.3 truyền phát nhanh nhất mất 18 đến 26 giây mới cho ra token đầu tiên.

Đây là các phép đo do chính Artificial Analysis thực hiện.