ElevenLabs presenta Cue, un modelo de alineación forzada

El equipo de investigación de ElevenLabs presentó Cue, un modelo de alineación forzada: el paso que convierte una transcripción en marcas de tiempo, utilizado para subtítulos, doblaje y transcripciones interactivas. Sitúa cada carácter en la línea de tiempo del audio.

Lo que afirma ElevenLabs (según sus propias pruebas de referencia, no verificadas de forma independiente):

• Cue procesa grabaciones de cualquier duración en una sola pasada, mientras que, según la empresa, la mayoría de los alineadores de código abierto están diseñados para clips cortos y nítidos en un conjunto limitado de idiomas.
• En audio del mundo real, fue más preciso que todos los alineadores de código abierto que probó ElevenLabs, en los 29 idiomas de su prueba de referencia.
• Alinea una hora de audio en aproximadamente medio segundo con una sola GPU.

Cue ya impulsa todas las transcripciones de Speech to Text en ElevenLabs y también está disponible por separado a través de la Forced Alignment API.