NVIDIA lance Nemotron 3.5 Transcribe, à égalité pour la 1re place parmi les modèles de transcription vocale à poids ouverts selon Artificial Analysis

Nemotron 3.5 Transcribe de NVIDIA est un nouveau modèle de transcription vocale à poids ouverts et pilotable par prompt : un mélange d’experts de 30B avec environ 4B de paramètres actifs. NVIDIA affirme qu’un seul checkpoint prend en charge la transcription dans 40 langues, l’attribution des locuteurs, la traduction, le pilotage par contexte et la compréhension audio, et que les poids, les données et les recettes sont ouverts. Le modèle est disponible sur Hugging Face, avec une démo en direct.

Résultats rapportés par Artificial Analysis (ses propres chiffres) :

• Il obtient 2,8 % à l’indice AA-WER, à égalité avec Voxtral Small de Mistral à la 1re place parmi les modèles à poids ouverts, devant Inkling de Thinking Machines (3,5 %). Il dépasse le précédent meilleur modèle de NVIDIA, Canary Qwen 2.5B (4,3 %).
• Sur AA-AgentTalk, son jeu de données de conversations avec des agents vocaux, il obtient 1,8 %, contre 2,3 % pour Voxtral Small.
• Il égale la précision de Voxtral Small avec 6 fois moins de paramètres actifs (4B contre 24B) ; les autres modèles à poids ouverts de taille similaire affichent un WER d’environ 4 %.
• Sur le point de terminaison hébergé de DeepInfra, il atteint un facteur de vitesse de 75x (une minute d’audio en moins d’une seconde) et coûte 2,00 $ pour 1 000 minutes d’audio.

Affirmations de NVIDIA :

• Il se classe 1er parmi les modèles à poids ouverts du classement Hugging Face Open ASR English, avec un taux d’erreur de mots moyen de 5,33 %.
• Il se classe 1er dans la comparaison de VoiceArena portant sur 14 systèmes de diarisation et de reconnaissance vocale, ainsi que dans le benchmark de diarisation multilingue de David AI.
• Dans une étude de cas sur la reconnaissance vocale médicale, le fine-tuning avec les données vocales ouvertes Granary v2 et les outils NeMo Speech a réduit le taux d’erreur de mots de 45,8 % par rapport au meilleur prompt, sur des locuteurs mis de côté.

La publication d’Artificial Analysis avait recueilli 64 points sur X au 28 octobre ; l’annonce de NVIDIA en avait recueilli 6 612 et 230 commentaires au 29 octobre.