Ling и NVIDIA ускорили Ling-3.0-flash на одном DGX Spark на 42,5%

Команда Ling сообщает, что совместно с NVIDIA оптимизировала инференс модели с открытыми весами Ling-3.0-flash (124 млрд параметров всего, 5,1 млрд активных на токен) на одном NVIDIA DGX Spark. NVIDIA опубликовала техническую статью об этой работе. Приведённые показатели получены самой командой.

Результат обеспечили три метода:

• Ядра Humming MXFP4 MoE: пропускная способность декодирования выросла на 9,3%.
• Онлайн-квантизация LM-head до FP8: суммарный прирост составил 21,7%.
• Многотокенное предсказание на основе NEXTN (MTP): модель формирует черновики и проверяет несколько токенов за раунд, что сокращает число шагов.

На выборке из 1 319 вопросов GSM8K пропускная способность декодирования выросла на 42,5% — с 37,81 до 53,89 токена в секунду, а средняя задержка снизилась на 24,5% — с 15,21 до 11,49 с; статистически значимых изменений точности не обнаружено. На синтетической нагрузке с 32 тыс. входных и 2 тыс. выходных токенов совокупный стек достиг 102,88 токена в секунду — на 185,1% выше базового уровня. Команда предупреждает, что результаты зависят от типа нагрузки: на GSM8K MTP принимал 2,68 токена за раунд против 3,90 на синтетическом тесте, поэтому реальные нагрузки следует тестировать отдельно.

Модель доступна на Hugging Face и ModelScope, а команда также разместила на GitHub руководство по развёртыванию.