ElevenLabs представляет Cue — модель принудительного выравнивания

Исследовательская команда ElevenLabs представила Cue — модель принудительного выравнивания, которая превращает расшифровку в временные метки. Это используется для субтитров, дубляжа и интерактивных расшифровок. Модель размещает каждый символ на временной шкале аудио.

Заявления ElevenLabs (собственные результаты тестирования, независимо не проверены):

• Cue обрабатывает записи любой длины за один проход. По словам компании, большинство моделей с открытым исходным кодом для выравнивания рассчитаны на короткие и чистые аудиофрагменты на ограниченном наборе языков.
• На аудио из реальных условий Cue показала более высокую точность, чем все протестированные ElevenLabs модели с открытым исходным кодом для выравнивания, на всех 29 языках из тестового набора компании.
• Cue выравнивает час аудио примерно за полсекунды на одном GPU.

Cue уже используется для всех транскрипций Speech to Text на ElevenLabs и доступна отдельно через Forced Alignment API.