ElevenLabs presenta Cue, un modello di allineamento forzato

ElevenLabs Research ha presentato Cue, un modello di allineamento forzato: il passaggio che trasforma una trascrizione in marcature temporali, usate per sottotitoli, doppiaggio e trascrizioni interattive. Cue colloca ogni carattere sulla linea temporale dell’audio.

Secondo ElevenLabs (dati del suo benchmark, non verificati in modo indipendente):

• Cue gestisce registrazioni di qualsiasi durata in un unico passaggio; secondo l’azienda, la maggior parte degli allineatori open source è progettata per clip brevi e nitide in un numero limitato di lingue.
• Nell’audio del mondo reale è risultato più accurato di tutti gli allineatori open source testati da ElevenLabs, in tutte le 29 lingue del benchmark.
• Allinea un’ora di audio in circa mezzo secondo usando una GPU.

Cue alimenta già tutte le trascrizioni Speech to Text di ElevenLabs ed è disponibile anche separatamente tramite la Forced Alignment API.