Artificial Analysis: почти 1 из 4 бессерверных эндпоинтов набирает меньше эталонного значения в индексе Endpoint Accuracy Index v1.1

Artificial Analysis выпустила версию 1.1 индекса Endpoint Accuracy Index, который оценивает каждый бессерверный эндпоинт модели с открытыми весами в процентах от эталонного развёртывания официальных весов на собственном сервере. При оценке поровну учитываются вызов инструментов (BFCL-500), научные рассуждения (HLE-250) и извлечение информации из длинного контекста (AA-LCR-25). По данным компании, среди более чем 100 проверенных эндпоинтов почти 1 из 4 набирает меньше эталонного значения.

Что изменилось в версии 1.1, по данным Artificial Analysis:

• AA-LCR-25 обновлён до AA-LCR v1.1: исправлены ошибки в ключах ответов, а проверку теперь выполняет GPT-5.6 Luna (medium). Каждый вопрос запускается 25 раз вместо 10, благодаря чему средний 95%-й доверительный интервал сократился с ±4,7 до ±2,6 пункта.
• Охват расширен до шести моделей: к DeepSeek V4.1 Flash 1017 (max), GLM-5.3 (max), Kimi K3 (max) и gpt-oss-120b (high) добавились GLM-5.3 Flash (max) и Muse Spark Open от Meta (xhigh).

Результаты:

• GLM-5.3 Flash: 16 из 22 эндпоинтов статистически соответствуют эталону, один превосходит его (104,2). Два эндпоинта с ограничением примерно в 32K выходных токенов обрывают около половины ответов в HLE-250 и набирают 22% и 29% против 55% у эталона. Ещё два выдают примерно на 30% меньше токенов рассуждений и набирают 48%.
• Muse Spark Open: три из пяти эндпоинтов соответствуют эталону (99,5–99,9), в том числе один, использующий веса FP4. У двух остальных точность снижается только при вызове инструментов: они возвращают аргументы, которые инструмент определяет как текст, например ID бронирований, в виде чисел (50% и 51% в BFCL-500 против 59%).
• GLM-5.3: 26 эндпоинтов с результатами от 67,2 до 99,3; 16 соответствуют эталону, а 10 уступают ему. По словам Artificial Analysis, самые большие расхождения связаны с ограничениями на число выходных токенов и циклами рассуждений; квантование причиной не является: пять из шести эндпоинтов FP4 соответствуют эталону FP8.
• DeepSeek V4.1 Flash 1017: все 22 эндпоинта соответствуют эталону (97,5–101,4). Разброс в 3,9 пункта делает эту модель самой стабильной в индексе.