NVIDIA merilis Nemotron 3.5 Transcribe dengan bobot terbuka, yang berbagi posisi #1 di antara model speech-to-text berbobot terbuka di Artificial Analysis

Nemotron 3.5 Transcribe dari NVIDIA adalah model speech-to-text baru berbobot terbuka yang dapat diberi prompt: model mixture-of-experts 30B dengan sekitar 4B parameter aktif. NVIDIA menyebut satu checkpoint dapat menangani transkripsi dalam 40 bahasa, atribusi pembicara, penerjemahan, prompting kontekstual, dan pemahaman audio, serta bobot, data, dan resep pelatihannya tersedia secara terbuka. Model ini tersedia di Hugging Face, lengkap dengan demo langsung.

Hasil yang dilaporkan Artificial Analysis (angka versinya sendiri):

• Skornya 2.8% pada AA-WER Index, berbagi posisi #1 dengan Voxtral Small dari Mistral di antara model berbobot terbuka dan unggul dari Inkling milik Thinking Machines (3.5%). Hasil ini lebih baik daripada model terbaik NVIDIA sebelumnya, Canary Qwen 2.5B (4.3%).
• Pada AA-AgentTalk, kumpulan datanya yang berisi percakapan dengan agen suara, skornya 1.8%, dibandingkan 2.3% untuk Voxtral Small.
• Akurasinya menyamai Voxtral Small dengan parameter aktif 6x lebih sedikit (4B dibandingkan 24B); model berbobot terbuka lain dengan ukuran serupa memiliki WER sekitar 4%.
• Pada endpoint yang di-host DeepInfra, model ini berjalan dengan Speed Factor 75x (audio berdurasi satu menit diproses dalam kurang dari satu detik) dan biayanya $2.00 per 1,000 menit audio.

Klaim NVIDIA:

• Model ini menempati peringkat #1 di antara model berbobot terbuka pada leaderboard Hugging Face Open ASR English, dengan rata-rata word error rate 5.33%.
• Model ini menempati peringkat #1 dalam perbandingan diarization-plus-ASR dengan 14 sistem dari VoiceArena dan pada benchmark diarization multibahasa David AI.
• Dalam studi kasus ASR medis, fine-tuning menggunakan data ucapan terbuka Granary v2 dan alat NeMo Speech menurunkan word error rate sebesar 45.8% dibandingkan prompt terbaik pada pembicara yang tidak disertakan dalam pelatihan.

Unggahan Artificial Analysis memperoleh 64 poin di X hingga 28 Oktober; pengumuman NVIDIA memperoleh 6,612 poin dan 230 komentar hingga 29 Oktober.