アリババ、唇の動きに同期する映像吹き替えAI「Fun-CineForge」公開

Fun-CineForge は、アリババの通義研究室（Tongyi Lab）がオープンソース公開した映像特化型のマルチモーダル吹き替えモデルです。動画と台詞テキストを渡すだけで、登場人物の唇の動きや感情に合わせた音声を自動生成します。

単に文章を読み上げるだけの従来の音声合成とは違います。これまでの AI 吹き替えは誰がどのタイミングで話しているかを把握できず、掛け合いの場面でズレまくるのが弱点でした。Fun-CineForge は映像内のキャラクターを識別し、まるでプロの声優が一人何役も演じ分けるように、複数人の声色を切り替えられます。

音声と映像をどう同期させているのか

このモデルは通義の CosyVoice3 をベースに構築されており、視覚、テキスト、音声、そして「時間」という 4 つの情報を統合して処理します。

もっとも巧みな工夫は、時間を独立したモダリティとして組み込んだ点です。モデルは唇の形や表情の変化を学習するだけでなく、ミリ秒単位の開始時間、継続時間、話者 ID を強い監視信号として受け取ります。

この時間軸の把握力のおかげで、AI は誰がいつ発声すべきかを正確に理解します。カットが素早く切り替わったり、話者が横を向いたり、障害物で顔が隠れたりしても、発話タイミングを見失いません。

声質や感情の表現も柔軟で、参照音声をもとにした声質クローンや、表情・プロンプトに合わせたトーン制御に対応します。350 作品以上の映画・ドラマ素材を用いた CineDub データセット構築パイプラインで学習されており、中国語の文字誤り率は 1.49% まで抑えられています。

どこまで公開されているか

モノローグやナレーション、2 人の対話から大人数の複雑なシーンまでカバーしており、海外作品の吹き替えローカライズ、ゲームやアニメの制作、ショート動画の編集などで手軽に活用できます。

コードは GitHub の FunAudioLLM/FunCineForge リポジトリで公開され、モデルの重みも Hugging Face にアップロードされています。データセット CineDub の構築パイプラインも合わせて提供されており、公式サイト（GitHub Pages）ではデモ動画の視聴が可能です。

なぜ重要か

従来の自動吹き替えにおける最大の難関は、声の質よりも「口の動きと尺が合わないこと」にありました。編集者は波形を 1 フレームずつ手作業で伸縮させ、唇の形に合わせる泥臭い作業を強いられていたわけです。Fun-CineForge は時間モダリティによって、その手作業をモデル内部で解決しました。

インディーゲーム開発者や映像の海外展開を手がけるチームなら、今すぐ試す価値があります。長編映像ではカット割りや台詞の事前調整がまだ必要になるものの、口の動きに合わせる作業が丸ごと自動化される恩恵は非常に大きいです。