ElevenLabs memperkenalkan Cue, model penyelarasan paksa

Tim riset ElevenLabs memperkenalkan Cue, model penyelarasan paksa: tahap yang mengubah transkrip menjadi penanda waktu, yang digunakan untuk subtitle, sulih suara, dan transkrip yang dapat diklik. Model ini menempatkan setiap karakter pada linimasa audio.

Klaim ElevenLabs (berdasarkan tolok ukur mereka sendiri, belum diverifikasi secara independen):

• Cue dapat menangani rekaman dengan durasi berapa pun dalam satu kali proses, sementara menurut ElevenLabs, sebagian besar penyelaras open source dirancang untuk klip singkat dan jernih dalam bahasa yang terbatas.
• Pada audio dunia nyata, hasilnya lebih akurat daripada semua penyelaras open source yang diuji ElevenLabs, di seluruh 29 bahasa dalam tolok ukur mereka.
• Cue menyelaraskan audio berdurasi satu jam dalam sekitar setengah detik menggunakan satu GPU.

Cue sudah digunakan untuk setiap transkripsi Speech to Text di ElevenLabs dan juga tersedia secara terpisah melalui Forced Alignment API.