NVIDIA brengt Nemotron 3.5 Transcribe met open weights uit, dat samen op #1 staat onder spraak-naar-tekstmodellen met open weights op Artificial Analysis

NVIDIA's Nemotron 3.5 Transcribe is een nieuw spraak-naar-tekstmodel met open weights dat met prompts kan worden aangestuurd: een mixture-of-experts-model van 30B met ongeveer 4B actieve parameters. NVIDIA zegt dat één checkpoint transcriptie in 40 talen, sprekerstoewijzing, vertaling, contextuele prompting en audio-inzicht ondersteunt, en dat de weights, data en recepten open zijn. Het is beschikbaar op Hugging Face, met een live demo.

Resultaten zoals gerapporteerd door Artificial Analysis (eigen cijfers):

• Het scoort 2,8% op de AA-WER Index en staat daarmee samen met Voxtral Small van Mistral op #1 onder modellen met open weights, vóór Inkling van Thinking Machines (3,5%). Het presteert beter dan NVIDIA's vorige beste model, Canary Qwen 2.5B (4,3%).
• Op AA-AgentTalk, de dataset van gesprekken met voice agents, scoort het 1,8%, tegenover 2,3% voor Voxtral Small.
• Het evenaart de nauwkeurigheid van Voxtral Small met 6x minder actieve parameters (4B tegenover 24B); andere modellen met open weights van vergelijkbare grootte komen uit op ongeveer 4% WER.
• Op het gehoste endpoint van DeepInfra draait het met een Speed Factor van 75x (een minuut audio in minder dan een seconde) en kost het $2.00 per 1.000 minuten audio.

Claims van NVIDIA:

• Het staat op #1 onder modellen met open weights op het Hugging Face Open ASR English-leaderboard, met een gemiddeld woordfoutpercentage van 5,33%.
• Het staat op #1 in de vergelijking van VoiceArena voor diarization plus ASR met 14 systemen en op de meertalige diarization-benchmark van David AI.
• In een casestudy over medische ASR verlaagde fine-tuning met open spraakdata van Granary v2 en NeMo Speech-tools het woordfoutpercentage met 45,8% ten opzichte van de beste prompt, getest op sprekers die buiten de trainingsdata vielen.

Het bericht van Artificial Analysis had op 28 oktober 64 punten op X; de aankondiging van NVIDIA had op 29 oktober 6.612 punten en 230 reacties.