ElevenLabs stellt Cue vor, ein Forced-Alignment-Modell

ElevenLabs Research hat Cue vorgestellt, ein Forced-Alignment-Modell: der Schritt, der ein Transkript mit Zeitstempeln versieht – für Untertitel, Synchronisation und anklickbare Transkripte. Cue ordnet jedes Zeichen der Audio-Zeitachse zu.

Angaben von ElevenLabs (aus einem eigenen, nicht unabhängig überprüften Benchmark):

• Cue verarbeitet Aufnahmen beliebiger Länge in einem einzigen Durchlauf. Laut ElevenLabs seien die meisten Open-Source-Aligner dagegen für kurze, saubere Clips und eine begrenzte Sprachauswahl ausgelegt.
• Bei Audio aus der Praxis war Cue in allen 29 Sprachen des Benchmarks genauer als jeder von ElevenLabs getestete Open-Source-Aligner.
• Cue richtet eine Stunde Audio auf einer GPU in etwa einer halben Sekunde aus.

Cue kommt bereits bei jeder Speech-to-Text-Transkription auf ElevenLabs zum Einsatz und ist über die Forced Alignment API auch eigenständig verfügbar.