NVIDIA 推出開放權重 Nemotron 3.5 Transcribe,在 Artificial Analysis 的開放權重語音轉文字模型中並列第 1
NVIDIA 的 Nemotron 3.5 Transcribe 是一款全新的開放權重、可透過提示詞調整的語音轉文字模型:採用 30B 混合專家架構,約有 4B 個啟用參數。NVIDIA 表示,單一檢查點即可處理 40 種語言的轉錄、說話者歸屬、翻譯、情境提示和音訊理解,且權重、資料與訓練配方皆已開放。此模型已在 Hugging Face 上推出,並提供線上示範。
Artificial Analysis 回報的結果(其自行測得的數據):
- AA-WER Index 得分為 2.8%,與 Mistral 的 Voxtral Small 並列開放權重模型第 1 名,優於 Thinking Machines 的 Inkling(3.5%)。表現也勝過 NVIDIA 先前最佳的 Canary Qwen 2.5B(4.3%)。
- 在語音代理對話資料集 AA-AgentTalk 上,得分為 1.8%,Voxtral Small 則為 2.3%。
- 僅用 6 分之 1 的啟用參數(4B 對 24B),準確度便與 Voxtral Small 相當;其他規模相近的開放權重模型 WER 約為 4%。
- 在 DeepInfra 託管端點上,速度因子達 75x(不到一秒即可處理一分鐘音訊),費用為每 1,000 分鐘音訊 $2.00。
NVIDIA 的說法:
- 在 Hugging Face Open ASR English 排行榜的開放權重模型中排名第 1,平均詞錯誤率為 5.33%。
- 在 VoiceArena 涵蓋 14 個系統的說話者分離加 ASR 比較,以及 David AI 的多語言說話者分離基準測試中,均排名第 1。
- 在一項醫療 ASR 案例研究中,使用 Granary v2 開放語音資料和 NeMo Speech 工具進行微調後,與留出說話者上的最佳提示詞相比,詞錯誤率降低了 45.8%。
截至 10 月 28 日,Artificial Analysis 的 X 貼文獲得 64 點;截至 10 月 29 日,NVIDIA 的公告獲得 6,612 點和 230 則留言。
來源
這樣的新聞,第一時間推播給你。
你使用的 AI 工具一有變化,AI Tracker 就會通知你。