NVIDIA lança o Nemotron 3.5 Transcribe, de pesos abertos, que empata em 1º lugar entre os modelos de fala para texto de pesos abertos no Artificial Analysis

O Nemotron 3.5 Transcribe da NVIDIA é um novo modelo de fala para texto, de pesos abertos e que aceita prompts: uma mistura de especialistas (MoE) de 30B, com cerca de 4B de parâmetros ativos. A NVIDIA afirma que um único checkpoint realiza transcrição em 40 idiomas, atribuição de falantes, tradução, prompting contextual e compreensão de áudio, e que os pesos, os dados e as receitas de treinamento são abertos. Ele está disponível no Hugging Face, com uma demonstração ao vivo.

Resultados relatados pelo Artificial Analysis (números próprios):

• Ele obteve 2,8% no índice AA-WER, empatando com o Voxtral Small da Mistral em 1º lugar entre os modelos de pesos abertos e superando o Inkling da Thinking Machines (3,5%). O resultado é melhor que o do melhor modelo anterior da NVIDIA, o Canary Qwen 2.5B (4,3%).
• No AA-AgentTalk, seu conjunto de dados de conversas com agentes de voz, obteve 1,8%, contra 2,3% do Voxtral Small.
• Ele iguala a precisão do Voxtral Small com 6 vezes menos parâmetros ativos (4B contra 24B); outros modelos de pesos abertos de tamanho semelhante ficam em torno de 4% de WER.
• No endpoint hospedado da DeepInfra, ele opera com um fator de velocidade de 75x (um minuto de áudio em menos de um segundo) e custa US$ 2,00 por 1.000 minutos de áudio.

Afirmações da NVIDIA:

• Ele ocupa o 1º lugar entre os modelos de pesos abertos no ranking Hugging Face Open ASR English, com uma taxa média de erro de palavras de 5,33%.
• Ele ocupa o 1º lugar na comparação de diarização e ASR com 14 sistemas da VoiceArena e no benchmark de diarização multilíngue da David AI.
• Em um estudo de caso de ASR médico, o ajuste fino com dados abertos de fala Granary v2 e ferramentas NeMo Speech reduziu a taxa de erro de palavras em 45,8% em relação ao melhor prompt, em falantes não usados no treinamento.

A publicação do Artificial Analysis teve 64 pontos no X até 28 de outubro; o anúncio da NVIDIA teve 6.612 pontos e 230 comentários até 29 de outubro.