ElevenLabs apresenta Cue, um modelo de alinhamento forçado

A área de pesquisa da ElevenLabs apresentou Cue, um modelo de alinhamento forçado: a etapa que transforma uma transcrição em marcações de tempo, usadas em legendas, dublagem e transcrições clicáveis. Ele posiciona cada caractere na linha do tempo do áudio.

O que a ElevenLabs afirma (com base em seu próprio benchmark, não verificado de forma independente):

• Cue processa gravações de qualquer duração em uma única passagem, enquanto, segundo a empresa, a maioria dos alinhadores de código aberto foi desenvolvida para clipes curtos e limpos em um conjunto limitado de idiomas.
• Em áudio do mundo real, foi mais preciso do que todos os alinhadores de código aberto testados pela ElevenLabs, nos 29 idiomas do benchmark.
• Ele alinha uma hora de áudio em cerca de meio segundo usando uma GPU.

Cue já é usado em todas as transcrições do Speech to Text da ElevenLabs e também está disponível separadamente pela Forced Alignment API.