В Arena’s Agent Arena появились графики производительности в зависимости от числа выходных токенов и времени ожидания

Издатель рейтинговых таблиц Arena сообщает, что Agent Arena теперь показывает, какие агенты обеспечивают наилучшую производительность на каждый сгенерированный выходной токен и каждую минуту ожидания пользователя, а также учитывает затраты на выполнение задачи. По данным Arena, за один и тот же уровень интеллекта можно заплатить в 10 раз больше, потратить в 6 раз больше выходных токенов и ждать вдвое дольше.

Согласно этим графикам, построенным на основе реального использования Arena, затраты быстрее всего растут вместе с уровнем интеллекта, более длительное ожидание приносит неравномерную отдачу, а число выходных токенов почти не позволяет предсказать счёт. Данные предоставлены самой Arena. Графики доступны в рейтинговой таблице Agent Arena Pareto на arena.ai.