音声と1枚の静止画から映画級の映像を作る「Wan-S2V」が登場

1枚の静止画から人物を喋らせる技術は、これまで首から上が固定されたぎこちないものが大半でした。

研究チームが公開したWan-S2Vは、静止画と音声を入力するだけで、高品質かつ音画が同期した映像を生成するAIモデルです。

会話シーンだけでなく、歌唱や本格的な演技シーンの再現まで視野に入れており、半身だけでなく全身の描写にも対応しています。

表情だけでなくカメラワークまで再現

多くのトーキングヘッド生成モデルは、顔の破綻を避けるためバストアップの構図に限定されがちでした。

Wan-S2Vは映画やドラマなどの映像制作現場での応用を前提に設計されています。自然な表情変化や身体の動きに加え、プロのカメラワークまで再現可能です。

さらに指示テキストを組み合わせることで、登場人物の動作や背景環境をコントロールし、シナリオのテーマに沿った映像を仕立てることができます。

14Bモデルが叩き出した一貫性のスコア

自然な動きを実現するため、チームはOpenHumanVidやKoala36Mといった大規模データセットから、発話や歌唱、ダンスの場面を自動抽出と手動キュレーションで厳選しました。数百万本規模の人物特化型データセットを構築しています。

評価実験では、Wan2.2-S2V-14Bモデルの測定データが示されています。

画質を示すFIDは15.66を記録し、PSNRは20.49、SSIMは0.734と、比較対象モデルの中で最も高い画像品質を達成しました。

特にキャラクターの同一性を測るCSIMでは0.677を記録し、EMO2やHunyuan-Avatarなどの競合を上回っています。リップシンク精度を示すSync-Cは4.51と、Hunyuan-Avatarの4.71には届かなかったものの、高水準を維持しています。

なぜ重要か

音声を映像に変換するツールの多くは、ニュース読み上げやSNS動画のような単調な用途にとどまっていました。

Wan-S2Vが巧みなのは、最初から映画クオリティの物語演出にターゲットを絞っている点です。映像作家やクリエイターは、キャラクターのコンセプト画1枚と声優の仮録音音声だけで、本格的な動く絵コンテを即座に作れるようになります。

物語制作において最も致命的なのは喋るたびに顔が変わる現象ですが、このモデルは同一性保持で極めて高いスコアを出しています。

一方で、リップシンク専門の指標では一部の先行モデルに僅差で譲っており、激しい全身運動をさせた際に物理的な破綻がどこまで抑えられるかは未知数です。

それでも、14B規模のモデルでここまでの映画的演出が安定して出力できるなら、映像プリプロダクションの制作コストを劇的に押し下げる力があると考えられます。