Artificial Analysis：サーバーレスエンドポイントのほぼ4分の1が、Endpoint Accuracy Index v1.1の基準値を下回る

Artificial AnalysisはEndpoint Accuracy Indexのv1.1を公開しました。この指標では、オープンウェイトモデルの各サーバーレスエンドポイントを、公式ウェイトを使ったセルフホスト環境の基準デプロイメントと比較し、パーセンテージで評価します。評価では、ツール呼び出し（BFCL-500）、科学的推論（HLE-250）、長文脈の想起（AA-LCR-25）を同じ比重で扱います。ベンチマークを実施した100超のエンドポイントのうち、ほぼ4分の1が基準値を下回ったとしています。

Artificial Analysisによると、v1.1での変更点は次のとおりです。

• AA-LCR-25をAA-LCR v1.1に更新。解答キーの誤りを修正し、採点にGPT-5.6 Luna（medium）を採用しました。各問題の実行回数を10回から25回に増やし、平均95%信頼区間の幅を±4.7ポイントから±2.6ポイントに縮小しました。
• 対象モデルを6つに拡大。DeepSeek V4.1 Flash 1017（max）、GLM-5.3（max）、Kimi K3（max）、gpt-oss-120b（high）に、GLM-5.3 Flash（max）とMetaのMuse Spark Open（xhigh）が加わりました。

調査結果：

• GLM-5.3 Flash： 22のエンドポイントのうち16は統計的に基準値と同等で、1つは基準値を上回る（104.2）。出力トークン数が約32Kに制限された2つのエンドポイントでは、HLE-250の回答のおよそ半分が途中で切れ、基準値の55%に対して22%と29%のスコアでした。ほかの2つは推論トークン数が約30%少なく、スコアは48%でした。
• Muse Spark Open： 5つのエンドポイントのうち3つが基準値と同等（99.5～99.9）で、FP4ウェイトを提供するものも1つ含まれます。残る2つはツール呼び出しでのみ精度が低下。ツール側がテキストとして定義する引数（予約IDなど）を数値で返し、BFCL-500のスコアは基準値の59%に対して50%と51%でした。
• GLM-5.3： 26のエンドポイントのスコアは67.2～99.3で、16は基準値と同等、10は基準値を下回りました。Artificial Analysisによると、大きな差の主因は出力トークン数の上限と推論ループで、量子化は原因ではありません。FP4の6つのエンドポイントのうち5つは、FP8の基準値と同等でした。
• DeepSeek V4.1 Flash 1017： 22のエンドポイントすべてが基準値と同等（97.5～101.4）。スコアの幅は3.9ポイントで、同インデックスで最も一貫性の高いモデルです。