NVIDIA выпускает Nemotron 3.5 Transcribe с открытыми весами — модель делит 1-е место среди моделей распознавания речи с открытыми весами по версии Artificial Analysis

Nemotron 3.5 Transcribe от NVIDIA — новая модель распознавания речи с открытыми весами и поддержкой подсказок: смесь экспертов на 30B с примерно 4B активных параметров. NVIDIA утверждает, что один чекпойнт поддерживает транскрибацию на 40 языках, атрибуцию реплик говорящим, перевод, контекстные подсказки и понимание аудио, а веса, данные и рецепты обучения открыты. Модель доступна на Hugging Face, также есть интерактивная демоверсия.

Результаты по данным Artificial Analysis (собственные показатели сервиса):

• Результат по индексу AA-WER — 2,8%: модель делит с Voxtral Small от Mistral 1-е место среди моделей с открытыми весами и опережает Inkling от Thinking Machines (3,5%). Это лучше предыдущего лучшего результата NVIDIA — у Canary Qwen 2.5B (4,3%).
• На AA-AgentTalk — наборе данных с разговорами голосовых агентов — результат составляет 1,8% против 2,3% у Voxtral Small.
• Модель показывает точность на уровне Voxtral Small, используя в 6 раз меньше активных параметров (4B против 24B); у других моделей с открытыми весами сопоставимого размера WER составляет около 4%.
• На размещённой DeepInfra конечной точке скорость обработки составляет 75x (минута аудио — менее чем за секунду), а стоимость — $2.00 за 1 000 минут аудио.

Заявления NVIDIA:

• Модель занимает 1-е место среди моделей с открытыми весами в рейтинге Hugging Face Open ASR English leaderboard со средним показателем ошибок слов 5,33%.
• Она занимает 1-е место в сравнении 14 систем с диаризацией и ASR от VoiceArena, а также в мультиязычном бенчмарке диаризации David AI.
• В исследовании клинического ASR дообучение на открытых речевых данных Granary v2 с инструментами NeMo Speech снизило частоту ошибок слов на 45,8% относительно лучшей подсказки на отложенной выборке говорящих.

К 28 октября публикация Artificial Analysis набрала 64 балла на X; к 29 октября анонс NVIDIA набрал 6 612 баллов и 230 комментариев.