Artificial Analysis：近四分之一的無伺服器端點在其 Endpoint Accuracy Index v1.1 中低於基準

Artificial Analysis 發布 Endpoint Accuracy Index v1.1，將開放權重模型的各個無伺服器端點，評為其官方權重自架部署基準的百分比。評分同等計入工具呼叫（BFCL-500）、科學推理（HLE-250）和長上下文回憶（AA-LCR-25）。在其測試的 100 多個端點中，該公司表示，近四分之一的得分低於基準。

Artificial Analysis 表示，v1.1 的變更如下：

• AA-LCR-25 升級至 AA-LCR v1.1，修正答案鍵錯誤，並改用 GPT-5.6 Luna（medium）評分。現在每道題執行 25 次，而非 10 次，將平均 95% 信賴區間從 ±4.7 分縮小至 ±2.6 分。
• 覆蓋範圍擴大至六個模型：新增 GLM-5.3 Flash（max）和 Meta 的 Muse Spark Open（xhigh），以及 DeepSeek V4.1 Flash 1017（max）、GLM-5.3（max）、Kimi K3（max）和 gpt-oss-120b（high）。

研究結果：

• GLM-5.3 Flash：22 個端點中有 16 個在統計上與基準一致，另有一個高於基準（104.2）。兩個輸出 token 上限約為 32K 的端點會截斷約半數 HLE-250 回答，得分分別為 22% 和 29%，基準則為 55%。另有兩個端點產生的推理 token 約少 30%，得分為 48%。
• Muse Spark Open：五個端點中有三個符合基準（99.5 至 99.9），其中一個使用 FP4 權重。其餘兩個只在工具呼叫方面準確度下降：它們會將工具定義為文字的參數（例如預訂 ID）回傳為數字；在 BFCL-500 上得分為 50% 和 51%，基準為 59%。
• GLM-5.3：26 個端點得分介於 67.2 至 99.3；其中 16 個與基準一致，10 個低於基準。Artificial Analysis 表示，差距最大的原因是輸出 token 上限和推理循環，並指出量化並非原因：六個 FP4 端點中有五個與 FP8 基準一致。
• DeepSeek V4.1 Flash 1017：全部 22 個端點均與基準一致（97.5 至 101.4），分數範圍僅 3.9 分，使其成為該指數中表現最一致的模型。