NVIDIA lancia Nemotron 3.5 Transcribe open-weight, a pari merito al primo posto tra i modelli speech-to-text open-weight secondo Artificial Analysis

Nemotron 3.5 Transcribe di NVIDIA è un nuovo modello speech-to-text open-weight e programmabile tramite prompt: un modello mixture-of-experts da 30B, con circa 4B di parametri attivi. NVIDIA afferma che un unico checkpoint gestisce la trascrizione in 40 lingue, l’attribuzione degli speaker, la traduzione, il prompting contestuale e la comprensione dell’audio, e che pesi, dati e procedure sono aperti. È disponibile su Hugging Face, con una demo interattiva.

Risultati riportati da Artificial Analysis (dati propri):

• Ottiene il 2,8% sull’indice AA-WER, a pari merito con Voxtral Small di Mistral al primo posto tra i modelli open-weight e davanti a Inkling di Thinking Machines (3,5%). Migliora il precedente risultato migliore di NVIDIA, Canary Qwen 2.5B (4,3%).
• Su AA-AgentTalk, il dataset di conversazioni con agenti vocali, ottiene l’1,8%, contro il 2,3% di Voxtral Small.
• Raggiunge la stessa accuratezza di Voxtral Small con 6 volte meno parametri attivi (4B contro 24B); altri modelli open-weight di dimensioni simili si attestano intorno al 4% di WER.
• Sull’endpoint ospitato di DeepInfra raggiunge uno Speed Factor di 75x (un minuto di audio in meno di un secondo) e costa 2,00 $ ogni 1.000 minuti di audio.

Dichiarazioni di NVIDIA:

• È al primo posto tra i modelli open-weight nella classifica Hugging Face Open ASR English, con un tasso medio di errore delle parole del 5,33%.
• È al primo posto nel confronto di diarizzazione più ASR di VoiceArena, che comprende 14 sistemi, e nel benchmark multilingue di diarizzazione di David AI.
• In uno studio di caso sull’ASR medico, il fine-tuning con dati vocali open Granary v2 e gli strumenti NeMo Speech ha ridotto il tasso di errore delle parole del 45,8% rispetto al miglior prompt, su speaker non inclusi nell’addestramento.

Il post di Artificial Analysis aveva ottenuto 64 punti su X al 28 ottobre; l’annuncio di NVIDIA aveva ottenuto 6.612 punti e 230 commenti al 29 ottobre.