Artificial Analysis 將「每項任務耗時」（Time per Task）列為 API 效能基準測試的首要指標

Artificial Analysis 宣布推出新版 API 效能基準測試，涵蓋約 1,000 個無伺服器端點，並每天測試數次，評估速度、延遲與快取。新版以「每項任務耗時」（Time per Task）取代串流速度，作為首要指標，衡量模型完成一項任務所需的時間。Artificial Analysis 將模型在 Intelligence Index 各項任務中的輸出 token 數，除以端到端輸出速度，計算這項指標。

該公司列出的變更如下：

• 端到端輸出速度（End-to-End Output Speed）現在從送出請求起算，直到收到最後一個 token，因此第一個 token 出現前的等待時間（prefill 與隱藏推理）也會納入計算。輸出 token 數改採各供應商 API 回報的數量，不再使用 o200k_base tokenizer。該公司在回覆中補充，失敗的請求現在會以速度 0 計算。
• 代理式工作負載納入每次測量：包括短篇、文件長度與長上下文提示，以及多輪程式設計與知識工作流程。首要指標數值取過去 5 天的平均值。
• API 預設推理力度會與最高推理力度一併測試；由於各家實驗室對推理力度的命名並不相通，因此採用各實驗室自訂的預設值。

Artificial Analysis 的調查結果：

• 在 Intelligence 與每項任務耗時的 Pareto 前緣上，OpenAI 模型占多數。在最高推理力度下，GPT-6 Astra 的速度為 51 tokens/s，但完成一項任務約需 17 分鐘；Claude Opus 5.5（111 tokens/s）約需 26 分鐘，Gemini 4 Carbon（71 tokens/s）約需 29 分鐘。這是因為 GPT-6 Astra 每項任務約使用 50k 個輸出 token，而其他模型約使用 120k 至 170k 個。
• 對預設推理力度而言，GPT-6 Astra、GPT-6.1 Sol 與 Claude Opus 5.5（這些模型的預設推理力度皆為 medium）的每項任務耗時可縮短約 3 至 5 倍，每項任務成本可降低約 2 至 4 倍，但 Intelligence Index 分數會減少約 5 至 11 分。Claude Opus 5.5 在最高推理力度下，每項任務約需 26 分鐘、花費 $10.04；調至 medium 後則約需 6.8 分鐘、花費 $2.45。
• 僅針對解碼速度調校的端點，端到端輸出速度下降幅度最大；該公司指出，串流速度最快的 GLM-5.3 端點，首個 token 仍需等待 18 至 26 秒。

以上均為 Artificial Analysis 自行測得的結果。