AI Tracker下载 App
← 全部新闻
模型开源多模态

NVIDIA 发布开放权重模型 Nemotron 3.5 Transcribe,在开放权重语音转文本模型中并列第 1

NVIDIA 的 Nemotron 3.5 Transcribe 是一款全新的开放权重、可提示的语音转文本模型:一个 300 亿参数的混合专家模型,活跃参数约 40 亿。NVIDIA 表示,同一个检查点可处理 40 种语言的转录、说话人归属、翻译、上下文提示和音频理解,并且模型权重、数据和配方均已开放。该模型现已在 Hugging Face 上线,并提供在线演示。

Artificial Analysis 报告的结果(其自身数据):

  • 它在 AA-WER Index 上的得分为 2.8%,与 Mistral 的 Voxtral Small 并列开放权重模型第 1,优于 Thinking Machines 的 Inkling(3.5%)。相比之下,NVIDIA 此前表现最好的 Canary Qwen 2.5B 得分为 4.3%。
  • 在其语音代理对话数据集 AA-AgentTalk 上,它的得分为 1.8%,Voxtral Small 为 2.3%。
  • 它仅用少 6 倍的活跃参数(40 亿对 240 亿),就达到了 Voxtral Small 的准确率;其他规模相近的开放权重模型 WER 约为 4%。
  • 在 DeepInfra 的托管端点上,它的速度因子达到 75 倍(不到一秒即可处理一分钟音频),费用为每 1,000 分钟音频 2.00 美元。

NVIDIA 的说法:

  • 在 Hugging Face Open ASR English 排行榜的开放权重模型中排名第 1,平均词错误率为 5.33%。
  • 在 VoiceArena 对 14 个系统进行的说话人分离加 ASR 对比中,以及 David AI 的多语言说话人分离基准测试中,均排名第 1。
  • 在一项医疗 ASR 案例研究中,使用 Granary v2 开放语音数据和 NeMo Speech 工具进行微调后,相比在留出说话人数据上表现最佳的提示,词错误率降低了 45.8%。

截至 10 月 28 日,Artificial Analysis 的 X 帖子获得 64 个赞;截至 10 月 29 日,NVIDIA 的公告获得 6,612 个赞和 230 条评论。

这样的新闻,第一时间推送给你。

你用的 AI 工具一有变化,AI Tracker 就会提醒你。

下载 App