NVIDIA lanza Nemotron 3.5 Transcribe, de pesos abiertos, que empata en el puesto n.º 1 entre los modelos de voz a texto de pesos abiertos según Artificial Analysis

Nemotron 3.5 Transcribe de NVIDIA es un nuevo modelo de voz a texto de pesos abiertos y guiable mediante prompts: una mezcla de expertos de 30B con unos 4B de parámetros activos. NVIDIA afirma que un único checkpoint permite transcribir en 40 idiomas, atribuir intervenciones a hablantes, traducir, usar prompts contextuales y comprender audio, y que los pesos, los datos y las recetas son abiertos. Está disponible en Hugging Face y cuenta con una demo en vivo.

Resultados que publica Artificial Analysis (cifras propias):

• Obtiene un 2,8 % en el índice AA-WER, empatado con Voxtral Small de Mistral en el puesto n.º 1 entre los modelos de pesos abiertos y por delante de Inkling de Thinking Machines (3,5 %). Supera el mejor resultado anterior de NVIDIA, Canary Qwen 2.5B (4,3 %).
• En AA-AgentTalk, su conjunto de datos de conversaciones con agentes de voz, obtiene un 1,8 %, frente al 2,3 % de Voxtral Small.
• Iguala la precisión de Voxtral Small con 6 veces menos parámetros activos (4B frente a 24B); otros modelos de pesos abiertos de tamaño similar rondan el 4 % de WER.
• En el endpoint alojado de DeepInfra funciona a un factor de velocidad de 75x (un minuto de audio en menos de un segundo) y cuesta $2.00 por cada 1.000 minutos de audio.

Afirmaciones de NVIDIA:

• Ocupa el puesto n.º 1 entre los modelos de pesos abiertos en la clasificación Open ASR English de Hugging Face, con una tasa media de error de palabras del 5,33 %.
• Ocupa el puesto n.º 1 en la comparación de diarización más ASR de 14 sistemas de VoiceArena y en el benchmark de diarización multilingüe de David AI.
• En un estudio de caso de ASR médico, el ajuste fino con datos de voz abiertos Granary v2 y herramientas NeMo Speech redujo la tasa de error de palabras un 45,8 % con respecto al mejor prompt, en hablantes reservados para evaluación.

La publicación de Artificial Analysis tenía 64 puntos en X al 28 de octubre; el anuncio de NVIDIA tenía 6.612 puntos y 230 comentarios al 29 de octubre.