NVIDIA veröffentlicht Nemotron 3.5 Transcribe mit offenen Gewichten, das bei Artificial Analysis gemeinsam auf Platz 1 unter den Speech-to-Text-Modellen mit offenen Gewichten liegt

NVIDIA Nemotron 3.5 Transcribe ist ein neues, promptfähiges Speech-to-Text-Modell mit offenen Gewichten: ein Mixture-of-Experts-Modell mit 30B Parametern, von denen etwa 4B aktiv sind. NVIDIA zufolge deckt ein einzelner Checkpoint die Transkription in 40 Sprachen, Sprecherzuordnung, Übersetzung, kontextbezogenes Prompting und Audioverständnis ab. Gewichte, Daten und Rezepte seien offen. Das Modell ist auf Hugging Face verfügbar, außerdem gibt es eine Live-Demo.

Ergebnisse laut Artificial Analysis (eigene Zahlen):

• Beim AA-WER Index erzielt es 2,8 % und liegt damit gemeinsam mit Voxtral Small von Mistral auf Platz 1 unter den Modellen mit offenen Gewichten, vor Inkling von Thinking Machines (3,5 %). Damit verbessert es das bisherige beste Ergebnis von NVIDIA, Canary Qwen 2.5B (4,3 %).
• Auf AA-AgentTalk, dem Datensatz mit Gesprächen von Sprachagenten, erzielt es 1,8 % gegenüber 2,3 % bei Voxtral Small.
• Es erreicht die Genauigkeit von Voxtral Small mit sechsmal weniger aktiven Parametern (4B gegenüber 24B); andere Modelle mit offenen Gewichten ähnlicher Größe liegen bei rund 4 % WER.
• Auf dem gehosteten Endpunkt von DeepInfra läuft es mit einem Speed Factor von 75x (eine Minute Audio in weniger als einer Sekunde) und kostet 2,00 $ pro 1.000 Minuten Audio.

Angaben von NVIDIA:

• Es belegt Platz 1 unter den Modellen mit offenen Gewichten auf der Open-ASR-English-Bestenliste von Hugging Face, mit einer durchschnittlichen Wortfehlerrate von 5,33 %.
• Es belegt Platz 1 im Vergleich von 14 Systemen für Diarisierung und ASR von VoiceArena sowie auf dem mehrsprachigen Diarisierungs-Benchmark von David AI.
• In einer medizinischen ASR-Fallstudie senkte Fine-Tuning mit den offenen Sprachdaten von Granary v2 und den NeMo-Speech-Tools die Wortfehlerrate im Vergleich zum besten Prompt bei zurückgehaltenen Sprechern um 45,8 %.

Der Beitrag von Artificial Analysis hatte bis zum 28. Oktober 64 Punkte auf X; NVIDIAs Ankündigung hatte bis zum 29. Oktober 6.612 Punkte und 230 Kommentare.