Artificial Analysis 将“每项任务耗时”作为 API 性能基准测试的头条指标

Artificial Analysis 宣布推出新版 API 性能基准测试。该测试覆盖约 1,000 个无服务器端点，每天进行多次测试，评估速度、延迟和缓存表现。“每项任务耗时”（Time per Task）即模型完成一项任务所需的时间，取代流式输出速度，成为头条指标。Artificial Analysis 将模型在 Intelligence Index 任务中的输出 token 数除以其端到端输出速度，得出这一指标。

列出的变化：

• 端到端输出速度现在从发送请求开始计时，直到生成最后一个 token，因此首个 token 出现前的等待时间（预填充和隐藏推理）也计入其中。输出 token 数采用各提供商 API 报告的计数，而不再使用 o200k_base tokenizer。该机构在回复中补充说，失败的请求现在按速度为 0 计入。
• 智能体工作负载纳入每项测量：短提示、文档长度提示和长上下文提示，以及多轮编程和知识工作会话。头条数据取过去 5 天内这些测试结果的平均值。
• 除最高推理强度外，还会对 API 默认推理强度进行基准测试；测试采用各实验室自己的默认设置，因为不同实验室的推理强度名称无法直接比较。

Artificial Analysis 的发现：

• OpenAI 模型占据了 Intelligence 与每项任务耗时帕累托前沿的大部分位置。在最高推理强度下，GPT-6 Astra 的速度为 51 tokens/s，但完成一项任务约需 17 分钟；Claude Opus 5.5（111 tokens/s）约需 26 分钟，Gemini 4 Carbon（71 tokens/s）约需 29 分钟。原因是 GPT-6 Astra 每项任务约使用 50k 个输出 token，而另两款模型约使用 120k 至 170k 个。
• 对 GPT-6 Astra、GPT-6.1 Sol 和 Claude Opus 5.5 而言，采用默认推理强度可将每项任务耗时缩短约 3 至 5 倍、每项任务成本降低约 2 至 4 倍；这三款模型的默认推理强度均为 medium，代价是 Intelligence Index 得分降低约 5 至 11 分。Claude Opus 5.5 在最高推理强度下每项任务约需 26 分钟、成本为 10.04 美元；切换到 medium 后，耗时约 6.8 分钟，成本为 2.45 美元。
• 仅针对解码速度优化的端点，端到端输出速度下降幅度最大；该机构称，流式输出速度最快的 GLM-5.3 端点，首个 token 需要 18 至 26 秒才能出现。

以上数据均来自 Artificial Analysis 自行测量。