ElevenLabs、強制アライメントモデル「Cue」を発表

ElevenLabsの研究チームが、文字起こしをタイムスタンプに変換する工程を担う強制アライメントモデル「Cue」を発表しました。字幕、吹き替え、クリック可能な文字起こしなどに使われます。音声のタイムライン上に、すべての文字を配置します。

ElevenLabsの主張（同社独自のベンチマークに基づくもので、独立した検証はされていません）：

• Cueは長さを問わず、録音を一度の処理で扱えます。同社によると、オープンソースのアライナーの大半は、限られた言語の短くクリアな音声向けに作られています。
• 実際の音声を使ったベンチマークでは、対象の29言語すべてで、ElevenLabsがテストしたどのオープンソースのアライナーよりも高精度でした。
• 1時間分の音声を、GPU 1基で約0.5秒でアライメントします。

CueはすでにElevenLabsのすべてのSpeech to Text文字起こしで使われており、Forced Alignment APIから単独でも利用できます。