動画の多言語吹き替えと口パクを自動同期するオープンソースツール「Just Dub It」

Just Dub It は、動画の多言語吹き替えとリップシンクを同時にこなすオープンソースツールです。元の言語で話している動画を入力すると、フランス語、ドイツ語、ポルトガル語などの別言語へ吹き替えた音声を生成しつつ、それに合わせた自然な唇の動きを再生成してくれます。話者本人の顔立ちや表情はそのまま保たれます。

2 月 4 日にプロジェクト全体が公開され、GitHub と Hugging Face で推論コード、LoRA 重みファイル、学習用データセットがすべて手に入る状態になりました。動画のローカライズや最新の音映像拡散モデルに興味があるなら、すぐに試す価値があります。

何ができるのか

従来の動画吹き替えは、文字起こし、翻訳、音声合成、リップシンク補正という複数の工程を別々のツールでつなぎ合わせるのが普通でした。そのため、口元だけが不自然に浮いてしまったり、顔の陰影が崩れたりしがちでした。

Just Dub It は、音声と映像を同時に拡散生成するアプローチをとっています。公式のデモでは、英語で語る動画をフランス語、ドイツ語、ポルトガル語へと吹き替えており、発音にぴったり合った唇の動きを破綻なく再現しています。

また、話者のアイデンティティ保持にも配慮されており、動画内で人物が多少動いたり姿勢を変えたりしても、顔の輪郭が歪むことなく安定して出力されます。

どう動いているのか

このツールはゼロから巨大モデルを作ったわけではなく、オープンソースの音映像基盤モデル LTX-2 向けに学習された軽量な LoRA アダプターとして実装されています。

LTX-2 は元から音声と映像を一体で扱える設計になっており、比較的軽量で生成速度が速いのが特徴です。Just Dub It はこの基盤モデルを活かし、元動画とプロンプトを手がかりに、翻訳された音声と口元の動きを同時に生成します。

利用時には、専用の LoRA 重みに加え、LTX-2 19B のベースチェックポイント、蒸留 LoRA、Gemma 3 テキストエンコーダー、2 倍空間アップスケーラーを組み合わせて動かします。推論解像度を 512×768 に設定した場合、30 ステップの生成とアップスケールを経て 1024×1536 の高解像度動画が得られます。

試し方と動作環境

コードは GitHub、モデル重みは Hugging Face で配布されており、CLI と Python API の両方が用意されています。プロンプトには話者の特徴、対象言語やアクセント、話すセリフを英語の定型フォーマットで指定します。事前のセリフ翻訳は一般的な大規模言語モデルに任せれば自動化も容易です。

動作環境としては、一般的な民生用 GPU で実行可能です。また、搭載 RAM さえ十分にあれば CPU 単体でも推論を走らせることができると説明されています。

なぜ重要か

私たちは、このプロジェクトのアプローチを非常にスマートだと評価しています。音声合成と顔面ワープを無理やりつなぐ昔ながらの手法を捨て、音声と映像を一体で生成できる最新基盤モデルを LoRA で拡張した点に大きな合理性があります。

海外向けの動画クリエイターや企業のローカライズ担当者にとって、クラウドの有料吹き替え API に頼らず、手元の環境で完全オープンに多言語吹き替えを行えるメリットは絶大です。データ流出の心配がなく、自前で追加学習できる点も魅力と言えます。

もちろん、19B 規模の基盤モデルを扱うため環境構築のハードルは依然として残りますが、個人のワークステーションでも高品質な口パク同期動画が作れるようになった意味は小さくありません。