Artificial Analysis выводит Time per Task в качестве главной метрики в бенчмарках производительности API

Artificial Analysis объявила о новой версии своего бенчмарка производительности API: он охватывает около 1 000 бессерверных эндпоинтов, которые компания тестирует несколько раз в день, оценивая скорость, задержку и кэширование. Time per Task — время, за которое модель выполняет задачу, — заменяет скорость генерации токенов в потоке в качестве главной метрики. Artificial Analysis рассчитывает этот показатель, деля число выходных токенов модели на задачу из Intelligence Index на End-to-End Output Speed.

Перечисленные изменения:

• End-to-End Output Speed теперь измеряется от отправки запроса до получения последнего токена, поэтому учитывается и ожидание первого токена (prefill и скрытые рассуждения). Число выходных токенов берётся из данных, которые сообщает API каждого провайдера, а не рассчитывается с помощью токенизатора o200k_base. В ответе компания добавляет, что теперь неудачные запросы учитываются как скорость 0.
• Агентные рабочие нагрузки включены в каждое измерение: короткие запросы, запросы размером с документ и запросы с длинным контекстом, а также многошаговые сессии по программированию и интеллектуальной работе. Главные показатели усредняются за последние 5 дней.
• Стандартный уровень усилий API тестируется наряду с максимальным уровнем. Для этого используется собственный стандартный уровень каждой лаборатории, поскольку названия уровней усилий у разных лабораторий несопоставимы.

Выводы Artificial Analysis:

• Модели OpenAI составляют большую часть границы Парето по Intelligence и Time per Task. При максимальном уровне усилий GPT-6 Astra генерирует 51 токен/с, но выполняет задачу примерно за 17 минут, тогда как Claude Opus 5.5 (111 токенов/с) — примерно за 26 минут, а Gemini 4 Carbon (71 токен/с) — примерно за 29 минут. Это объясняется тем, что на задачу GPT-6 Astra использует около 50 тыс. выходных токенов против примерно 120–170 тыс. у конкурентов.
• Стандартный уровень усилий сокращает Time per Task примерно в 3–5 раз, а Cost per Task — примерно в 2–4 раза для GPT-6 Astra, GPT-6.1 Sol и Claude Opus 5.5. У всех этих моделей стандартным установлен средний уровень усилий, а снижение обходится примерно в 5–11 баллов Intelligence Index. Для Claude Opus 5.5 показатели меняются с примерно 26 минут и $10.04 за задачу при максимальном уровне до примерно 6,8 минуты и $2.45 при среднем.
• Эндпоинты, настроенные только на скорость декодирования, сильнее всего теряют в End-to-End Output Speed; по данным компании, самым быстрым по скорости генерации токенов в потоке эндпоинтам GLM-5.3 требуется 18–26 секунд до появления первого токена.

Это собственные измерения Artificial Analysis.