Artificial Analysis：近四分之一的无服务器端点在其 Endpoint Accuracy Index v1.1 中低于参考基准

Artificial Analysis 发布了 Endpoint Accuracy Index v1.1。该指数将开放权重模型的每个无服务器端点得分，按其官方权重自托管参考部署的表现折算为百分比。评分对工具调用（BFCL-500）、科学推理（HLE-250）和长上下文回忆（AA-LCR-25）赋予相同权重。在其测试的 100 多个端点中，近四分之一的得分低于参考基准。

据 Artificial Analysis 介绍，v1.1 的变化包括：

• AA-LCR-25 升级为 AA-LCR v1.1，修正了答案键错误，并将评分改为由 GPT-5.6 Luna（medium）完成。每道题现在运行 25 次，而非 10 次，使平均 95% 置信区间从 ±4.7 分缩小到 ±2.6 分。
• 覆盖范围扩大到六个模型：新增 GLM-5.3 Flash（max）和 Meta 的 Muse Spark Open（xhigh），此前已有 DeepSeek V4.1 Flash 1017（max）、GLM-5.3（max）、Kimi K3（max）和 gpt-oss-120b（high）。

调查结果：

• GLM-5.3 Flash：22 个端点中有 16 个在统计上与参考基准持平，另有一个得分高于参考基准（104.2）。两个输出令牌上限约为 32K 的端点截断了约一半的 HLE-250 回复，得分分别为 22% 和 29%，而参考基准为 55%。另外两个端点生成的推理令牌少约 30%，得分为 48%。
• Muse Spark Open：五个端点中有三个与参考基准持平（99.5 至 99.9），其中一个使用 FP4 权重。另两个端点仅在工具调用方面准确率下降：它们会把工具定义为文本的参数（例如预订 ID）作为数字返回，在 BFCL-500 上得分分别为 50% 和 51%，而参考基准为 59%。
• GLM-5.3：26 个端点得分介于 67.2 至 99.3 之间；16 个与参考基准持平，10 个低于参考基准。Artificial Analysis 表示，差距最大的情况源于输出令牌上限和推理循环；量化并非原因，六个 FP4 端点中有五个与 FP8 参考基准持平。
• DeepSeek V4.1 Flash 1017：全部 22 个端点均与参考基准持平（97.5 至 101.4），得分范围仅为 3.9 分，使其成为该指数中表现最稳定的模型。