ElevenLabs introduceert Cue, een model voor geforceerde uitlijning

ElevenLabs Research heeft Cue geïntroduceerd, een model voor geforceerde uitlijning: de stap waarbij een transcript wordt omgezet in tijdstempels, gebruikt voor ondertiteling, nasynchronisatie en aanklikbare transcripten. Het koppelt elk teken aan een moment op de audiotijdlijn.

Claims van ElevenLabs (gebaseerd op eigen benchmarks, niet onafhankelijk geverifieerd):

• Cue kan opnames van elke lengte in één keer verwerken. Volgens ElevenLabs zijn de meeste open-sourcetoepassingen voor uitlijning gemaakt voor korte, heldere fragmenten in een beperkt aantal talen.
• Bij audio uit de praktijk was Cue nauwkeuriger dan alle open-source-alternatieven die ElevenLabs heeft getest, in alle 29 talen van de benchmark.
• Het lijnt een uur audio in ongeveer een halve seconde uit op één GPU.

Cue wordt al gebruikt voor alle Speech to Text-transcripties op ElevenLabs en is ook afzonderlijk beschikbaar via de Forced Alignment API.