ElevenLabs présente Cue, un modèle d’alignement forcé

ElevenLabs Research a présenté Cue, un modèle d’alignement forcé : l’étape qui transforme une transcription en horodatages, utilisés pour les sous-titres, le doublage et les transcriptions interactives. Il positionne chaque caractère sur la chronologie audio.

Selon ElevenLabs (d’après ses propres tests, non vérifiés de manière indépendante) :

• Cue traite des enregistrements de toute durée en une seule passe, alors que, selon l’entreprise, la plupart des outils d’alignement open source sont conçus pour des extraits courts et propres, dans un nombre limité de langues.
• Sur des enregistrements audio du monde réel, il s’est montré plus précis que tous les outils d’alignement open source testés par ElevenLabs, dans les 29 langues de son benchmark.
• Il aligne une heure d’audio en environ une demi-seconde sur un seul GPU.

Cue alimente déjà toutes les transcriptions Speech to Text sur ElevenLabs et est également disponible séparément via l’API Forced Alignment.