ElevenLabs、音声と文字の時刻を合わせるモデル「Cue」を発表　字幕や吹き替えで利用

公表された内容の概要

• どんなものか：音声ファイルと文字起こしを突き合わせ、すべての文字に話された時刻（タイムスタンプ）を付ける「強制アライメント」のモデル。録音の長さを問わず、1時間の音声を1秒未満で処理できると発表している
• 使える場所：ElevenLabsのSpeech to Text（文字起こし）のすべての機能、Scribeのモデル群、強制アライメントAPI。字幕、吹き替え（ダビング）、音楽の歌詞のタイミング合わせの機能でも使われる
• 対応言語：90以上の言語をカバーし、29言語で性能を測ったとしている
• 料金：発表では示されていない

クリエイターに関係する点

動画の字幕付けや、歌詞を音楽に合わせて表示する作業で使われる機能です。すでにElevenLabsの文字起こしを使っている場合は、追加の操作なしに組み込まれていると説明されています。