NVIDIA udostępnia model Nemotron 3.5 Transcribe z otwartymi wagami, który ex aequo zajmuje 1. miejsce wśród modeli Speech-to-Text z otwartymi wagami według Artificial Analysis

Nemotron 3.5 Transcribe od NVIDIA to nowy, dostępny z otwartymi wagami i obsługujący prompty model Speech-to-Text: model typu mixture-of-experts o wielkości 30B, z około 4B aktywnych parametrów. NVIDIA twierdzi, że jeden checkpoint obsługuje transkrypcję w 40 językach, przypisywanie wypowiedzi do mówców, tłumaczenie, podpowiedzi kontekstowe i rozumienie dźwięku, a wagi, dane i receptury są otwarte. Model jest dostępny na Hugging Face, wraz z interaktywnym demem.

Wyniki podane przez Artificial Analysis (własne pomiary):

• Uzyskuje 2.8% w indeksie AA-WER, ex aequo z Voxtral Small od Mistral na 1. miejscu wśród modeli z otwartymi wagami i przed Inkling od Thinking Machines (3.5%). To wynik lepszy niż w przypadku poprzedniego najlepszego modelu NVIDIA, Canary Qwen 2.5B (4.3%).
• W AA-AgentTalk, zbiorze danych obejmującym rozmowy z agentami głosowymi, uzyskuje 1.8% wobec 2.3% dla Voxtral Small.
• Osiąga taką samą dokładność jak Voxtral Small, mając 6 razy mniej aktywnych parametrów (4B wobec 24B); inne modele z otwartymi wagami o podobnej wielkości mają WER na poziomie około 4%.
• W hostowanym punkcie końcowym DeepInfra działa ze współczynnikiem szybkości 75x (minuta audio w mniej niż sekundę) i kosztuje $2.00 za 1,000 minut audio.

Twierdzenia NVIDIA:

• Zajmuje 1. miejsce wśród modeli z otwartymi wagami na anglojęzycznej tablicy wyników Hugging Face Open ASR, ze średnim wskaźnikiem błędów słów wynoszącym 5.33%.
• Zajmuje 1. miejsce w porównaniu VoiceArena obejmującym 14 systemów do diarizacji i ASR oraz w wielojęzycznym benchmarku diarizacji David AI.
• W studium przypadku dotyczącym medycznego ASR dostrajanie z użyciem otwartych danych mowy Granary v2 i narzędzi NeMo Speech obniżyło wskaźnik błędów słów o 45.8% względem najlepszego promptu, na podstawie mówców nieuwzględnionych w treningu.

Do 28 października wpis Artificial Analysis miał 64 punkty na X; ogłoszenie NVIDIA miało do 29 października 6,612 punktów i 230 komentarzy.