Domain Shuttle：参照画像の一貫性を保つ動画生成ツール、異種スタイルの混在にも対応

AI 動画を触ったことがある人なら、カットを切り替えるたびに主人公の顔が変わってしまったり、アニメキャラと実写を合成しようとして画面が破綻した経験があるはずです。

香港科技大学の研究チームは 6 月 24 日、被写体の一貫性を保ったまま動画を生成できるオープンソースツール「Domain Shuttle」を公開しました。参照画像を数枚読み込ませるだけで、キャラクターの特徴を維持しながら自由なスタイル変換を行えるのが特徴です。

実写、2D アニメ、3D キャラが破綻なく共演する

従来の被写体主導型動画モデルは、参照画像と同じ画風でしか再現できないケースがほとんどでした。実写画像を渡せば実写風の動画しか作れず、プロンプトでアニメ調に変えようとするとキャラクターの外見が崩れてしまいます。

Domain Shuttle はこのスタイルの壁を越えることを目指しています。公開されたデモでは、実写の人物、2D アニメキャラ、3D モデルという異なる画風の参照画像を同時に渡し、同一シーン内で自然に対話させることができています。

細部の表現力も目を引きます。実写の男性が壁に描かれた 2D の落書き少女を見つめるシーンや、男性が 3D ホログラムのキャラクターと会話するような複雑なシチュエーションも再現可能です。さらに、女性が手に持つマグカップの表面に 2D キャラクターを歪みなくプリントした状態で動画化することにも成功しています。

技術的には、キャラクター本来の特徴と画風情報を分離して処理する Domain-MoT 構造や、独自の空間モデリング手法を採用しています。これにより、画風が変わっても被写体のアイデンティティが損なわれません。

ただし動作環境のハードルは高めです。ベースモデルに Wan 2.2 を採用しており、モデル自体のファイルサイズは約 35GB に達します。一般的な PC で動かすのは難しく、ハイエンド GPU が必須となります。コードと実行手順はすでに GitHub で公開されています。

なぜ重要か

Domain Shuttle は、AI 映像制作において最大の障壁だった「キャラクターの一貫性とスタイルの自由度の両立」に正面から応える試みです。

広告制作やインディー映像作家にとって、その恩恵は非常に大きいです。実写映像の中にオリジナルキャラクターを配置したり、グッズに特定のアートワークを乗せて動かしたりする作業は、従来なら 3D モデリングやトラッキングを駆使した膨大な工数を要していました。これをテキストプロンプト数行で実現できる意義は計り知れません。

また、Wan 2.2 という既存の強力なオープンモデルを活用し、アーキテクチャの工夫によって制御精度を飛躍的に高めた点も巧みです。巨大企業によるゼロからの基盤モデル開発だけでなく、オープンな拡張によって実用性が底上げされる好例と言えます。

35GB というサイズゆえに今すぐ誰でもローカルで使えるわけではありませんが、プロダクション現場のプロトタイピングや映像プリビズ制作においては、即戦力として試す価値のあるツールです。