ElevenLabs ra mắt Cue, mô hình căn chỉnh cưỡng bức

ElevenLabs research giới thiệu Cue, một mô hình căn chỉnh cưỡng bức: công đoạn chuyển bản chép lời thành dấu thời gian, dùng cho phụ đề, lồng tiếng và bản chép lời có thể nhấp. Mô hình này định vị từng ký tự trên dòng thời gian của âm thanh.

Theo tuyên bố của ElevenLabs (dựa trên benchmark của hãng, chưa được xác minh độc lập):

• Cue xử lý bản ghi có độ dài bất kỳ chỉ trong một lượt, trong khi hãng cho biết hầu hết công cụ căn chỉnh mã nguồn mở được thiết kế cho các đoạn âm thanh ngắn, rõ ràng và chỉ hỗ trợ một số ngôn ngữ hạn chế.
• Với âm thanh thực tế, Cue chính xác hơn mọi công cụ căn chỉnh mã nguồn mở mà ElevenLabs thử nghiệm, ở cả 29 ngôn ngữ trong benchmark của hãng.
• Cue căn chỉnh một giờ âm thanh trong khoảng nửa giây trên một GPU.

Cue hiện đã được dùng cho mọi bản chép lời Speech to Text trên ElevenLabs và có thể sử dụng riêng thông qua Forced Alignment API.