ElevenLabs przedstawia Cue, model do wymuszonego wyrównywania

Zespół badawczy ElevenLabs przedstawił Cue, model do wymuszonego wyrównywania — etap, który przekształca transkrypcję w znaczniki czasu wykorzystywane w napisach, dubbingu i transkrypcjach z klikalnymi fragmentami. Przypisuje każdy znak do osi czasu nagrania.

Deklaracje ElevenLabs (na podstawie własnego benchmarku, bez niezależnej weryfikacji):

• Cue obsługuje nagrania dowolnej długości w jednym przebiegu; według ElevenLabs większość narzędzi do wyrównywania z otwartym kodem źródłowym jest przeznaczona do krótkich, czystych nagrań w ograniczonej liczbie języków.
• W przypadku nagrań z rzeczywistego świata Cue osiągnął większą dokładność niż każde narzędzie do wyrównywania z otwartym kodem źródłowym przetestowane przez ElevenLabs — we wszystkich 29 językach uwzględnionych w benchmarku.
• Wyrównanie godzinnego nagrania zajmuje około pół sekundy na jednym GPU.

Cue już teraz obsługuje każdą transkrypcję Speech to Text w ElevenLabs. Jest też dostępny osobno za pośrednictwem Forced Alignment API.