AI Tracker下載 App
← 所有新聞
模型開源多模態

NVIDIA 推出開放權重 Nemotron 3.5 Transcribe,在 Artificial Analysis 的開放權重語音轉文字模型中並列第 1

NVIDIA 的 Nemotron 3.5 Transcribe 是一款全新的開放權重、可透過提示詞調整的語音轉文字模型:採用 30B 混合專家架構,約有 4B 個啟用參數。NVIDIA 表示,單一檢查點即可處理 40 種語言的轉錄、說話者歸屬、翻譯、情境提示和音訊理解,且權重、資料與訓練配方皆已開放。此模型已在 Hugging Face 上推出,並提供線上示範。

Artificial Analysis 回報的結果(其自行測得的數據):

  • AA-WER Index 得分為 2.8%,與 Mistral 的 Voxtral Small 並列開放權重模型第 1 名,優於 Thinking Machines 的 Inkling(3.5%)。表現也勝過 NVIDIA 先前最佳的 Canary Qwen 2.5B(4.3%)。
  • 在語音代理對話資料集 AA-AgentTalk 上,得分為 1.8%,Voxtral Small 則為 2.3%。
  • 僅用 6 分之 1 的啟用參數(4B 對 24B),準確度便與 Voxtral Small 相當;其他規模相近的開放權重模型 WER 約為 4%。
  • 在 DeepInfra 託管端點上,速度因子達 75x(不到一秒即可處理一分鐘音訊),費用為每 1,000 分鐘音訊 $2.00。

NVIDIA 的說法:

  • 在 Hugging Face Open ASR English 排行榜的開放權重模型中排名第 1,平均詞錯誤率為 5.33%。
  • 在 VoiceArena 涵蓋 14 個系統的說話者分離加 ASR 比較,以及 David AI 的多語言說話者分離基準測試中,均排名第 1。
  • 在一項醫療 ASR 案例研究中,使用 Granary v2 開放語音資料和 NeMo Speech 工具進行微調後,與留出說話者上的最佳提示詞相比,詞錯誤率降低了 45.8%。

截至 10 月 28 日,Artificial Analysis 的 X 貼文獲得 64 點;截至 10 月 29 日,NVIDIA 的公告獲得 6,612 點和 230 則留言。

這樣的新聞,第一時間推播給你。

你使用的 AI 工具一有變化,AI Tracker 就會通知你。

下載 App