NVIDIA ra mắt Nemotron 3.5 Transcribe có trọng số mở, đồng hạng #1 trong số các mô hình chuyển giọng nói thành văn bản có trọng số mở trên Artificial Analysis

Nemotron 3.5 Transcribe của NVIDIA là mô hình chuyển giọng nói thành văn bản mới, có trọng số mở và hỗ trợ prompt: mô hình hỗn hợp chuyên gia 30B với khoảng 4B tham số hoạt động. NVIDIA cho biết một checkpoint xử lý được phiên âm bằng 40 ngôn ngữ, xác định người nói, dịch thuật, prompt theo ngữ cảnh và hiểu âm thanh; đồng thời trọng số, dữ liệu và quy trình đều được mở. Mô hình có trên Hugging Face, kèm bản demo trực tiếp.

Kết quả do Artificial Analysis công bố (số liệu của họ):

• Mô hình đạt 2.8% trên AA-WER Index, đồng hạng với Voxtral Small của Mistral ở vị trí #1 trong số các mô hình có trọng số mở và vượt Inkling (3.5%) của Thinking Machines. Kết quả này cải thiện so với mô hình tốt nhất trước đây của NVIDIA, Canary Qwen 2.5B (4.3%).
• Trên AA-AgentTalk, bộ dữ liệu hội thoại của trợ lý giọng nói, mô hình đạt 1.8%, so với 2.3% của Voxtral Small.
• Mô hình đạt độ chính xác ngang Voxtral Small với số tham số hoạt động ít hơn 6 lần (4B so với 24B); các mô hình có trọng số mở khác cùng quy mô thường ở mức WER khoảng 4%.
• Trên endpoint được lưu trữ của DeepInfra, mô hình chạy ở Speed Factor 75x (xử lý một phút âm thanh trong chưa đầy một giây) với chi phí $2.00 cho mỗi 1.000 phút âm thanh.

Các tuyên bố của NVIDIA:

• Mô hình đứng #1 trong số các mô hình có trọng số mở trên bảng xếp hạng Open ASR English của Hugging Face, với tỷ lệ lỗi từ trung bình 5.33%.
• Mô hình đứng #1 trong phần so sánh kết hợp phân tách người nói và ASR của VoiceArena với 14 hệ thống, cũng như trên bộ benchmark phân tách người nói đa ngôn ngữ của David AI.
• Trong một nghiên cứu tình huống về ASR y tế, việc tinh chỉnh bằng dữ liệu giọng nói mở Granary v2 và công cụ NeMo Speech đã giảm tỷ lệ lỗi từ 45.8% so với prompt tốt nhất trên các người nói được giữ lại để đánh giá.

Bài đăng của Artificial Analysis có 64 điểm trên X tính đến ngày 28 tháng 10; thông báo của NVIDIA có 6.612 điểm và 230 bình luận tính đến ngày 29 tháng 10.