リップシンクの仕組み

リップシンクは、ソース動画と新しい音声トラックを取り込み、翻訳された音声とより一致するように話者の口の動きを更新します。

変化するものと維持されるもの

VoiceCheapは話者の顔の領域に焦点を当てます。実際には：

顔の検出

VoiceCheapは話者の顔を特定し、口と顔の下部周辺の関連する顔のランドマークを追跡します。

翻訳された音声の分析

システムはターゲット音声を聴き取り、音声に合わせるために必要な口の形を計算します。

新しいリップシンクの生成

翻訳された音声により正確に一致するように、発話領域がフレームごとに再生成されます。

結果を動画に合成

生成された口元領域が元のフレームに合成され、視覚的な整合性が保たれます。

リップシンクは品質向上の最初のステップではありません。通常の手順は以下の通りです：

翻訳された音声やタイミングに違和感がある場合は、まずそれを修正してください。リップシンクは、音声がすでに整っている状態で最も効果を発揮します。