Artificial Analysis、API性能ベンチマークの主要指標に「タスクあたりの所要時間」を採用

Artificial Analysisは、API性能ベンチマークの新バージョンを発表しました。このベンチマークでは、約1,000のサーバーレスエンドポイントを対象に、速度、レイテンシ、キャッシュを1日に複数回テストしています。主要指標はストリーミング速度から、モデルがタスクを完了するまでの時間を示す「タスクあたりの所要時間」に変更されました。Artificial Analysisは、Intelligence Indexの各タスクでモデルが出力するトークン数を、End-to-End Output Speedで割って算出します。

変更点は以下のとおりです。

• End-to-End Output Speed は、リクエストの送信から最後のトークンまでを計測するようになり、最初のトークンが出るまでの待ち時間（プリフィルと非表示の推論）も含まれます。出力トークン数は、o200k_baseトークナイザーではなく、各プロバイダーのAPIが報告する数を使用します。返信によると、失敗したリクエストは速度0として扱われるようになりました。
• エージェント型ワークロード がすべての測定に含まれます。短文、文書規模、長文脈のプロンプトに加え、複数ターンにわたるコーディングや知識労働のセッションも対象です。主要な数値は、過去5日間の平均です。
• APIのデフォルトの推論 effort は、各社でeffortの名称を比較できないため、各社独自のデフォルト設定を使い、最高effortと並べてベンチマークします。

Artificial Analysisによる調査結果は以下のとおりです。

• Intelligenceとタスクあたりの所要時間のパレートフロンティアの大半を、OpenAIのモデルが占めています。最大effortでは、GPT-6 Astraは51 tokens/sで動作しながら、タスク完了まで約17分かかります。Claude Opus 5.5は約26分（111 tokens/s）、Gemini 4 Carbonは約29分（71 tokens/s）です。GPT-6 Astraはタスクあたりの出力が約50kトークンなのに対し、他のモデルは約120k〜170kトークンを出力するためです。
• デフォルトのeffortでは、中程度のeffortがデフォルトのGPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5について、タスクあたりの所要時間が約3〜5分の1、コストが約2〜4分の1になります。その代わり、Intelligence Indexのスコアは約5〜11ポイント低下します。Claude Opus 5.5は最大effortの場合、タスクあたり約26分、$10.04ですが、中程度のeffortでは約6.8分、$2.45になります。
• デコード速度だけに最適化されたエンドポイントは、End-to-End Output Speedの低下が最も大きくなります。最もストリーミングが速いGLM-5.3のエンドポイントでも、最初のトークンが出るまでに18〜26秒かかるとしています。

これらはArtificial Analysis独自の測定結果です。