仮想試着フレームワーク「Vanast」登場　写真1枚と服画像から自然な試着動画を生成

ネット通販で服を選ぶ際、試着イメージが動画で確認できれば便利ですが、静止画の人物に新しい服を着せて自然に動かす作業は、AIにとっても難度の高い課題でした。

研究チームは新たな仮想試着フレームワーク「Vanast」を発表しました。人物の写真1枚、着せ替えたい服の画像、そして骨格姿勢を示すガイダンス動画を用意するだけで、新しい服を着た人物が滑らかに動く動画を直接生成できます。

破綻の原因だった2段階処理を1つの工程に統合

従来の仮想試着動画生成は、主に2つのステップに分かれていました。まず静止画上で服を着せ替え、その後に別のモーション駆動モデルを使って動画化するという手法です。

しかしこのやり方では、途中で顔立ちが変わってしまうアイデンティティの喪失や、服のシワの不自然な歪み、振り向いたときの前後の不整合が頻発していました。

Vanastはこれらの処理を分離せず、単一の統合ステップとして実行します。学習にあたっては、人物の容姿を保ったまま服を変えたペアや上下着の組み合わせを含む大規模な三つ組みデータを構築しました。

さらに、動画Diffusion Transformer向けにDual Moduleアーキテクチャを導入しました。これにより事前学習モデルの生成品質を保ちながら、服の細部再現、ポーズ追従性、人物の一貫性を高め、服同士の補間合成にも対応しています。

上下着からワンピースまで対応、コード公開待ち

公開されたデモでは、男性のシャツやパンツの着せ替え、女性のスカートやワンピースへの変更において、顔の特徴や体型が崩れることなく維持されている様子が確認できます。

ポーズ動画の動きに合わせて衣服が自然に追従し、全身のバランスを崩さずにアニメーションが生成されます。

ただし、現時点で公開されているのは論文のみで、プロジェクトページにはコードは近日公開予定と記載されています。一般ユーザーが手元で試せるようになるにはもう少し時間がかかりそうです。

なぜ重要か

Vanastのコードが実際にオープンソースとして公開されれば、アパレルECやデジタルコンテンツ制作の現場に大きなインパクトを与えます。新商品のたびにモデルや撮影スタジオを手配することなく、商品写真と標準的なポーズ動画から試着ムービーを自動生成できる道が開けるためです。

技術的な観点からも、静止画試着と動画化を別々に繋ぎ合わせる従来手法の限界を、エンドツーエンドの統合アプローチによって打破した意義は小さくありません。動画の潜在空間で衣服と動作を同時に扱う設計は、今後のファッション生成AIの標準的な方向性になる可能性があります。

着眼点と構成は非常に合理的だと評価できますが、現時点では論文発表段階にとどまります。実用レベルに達しているかどうかは、コード公開後に複雑な背景光や極端なアクションといった過酷な環境でどれだけ安定して動くかを見極める必要があります。