アリババがFashionChameleon発表：動画生成中にリアルタイムで衣装を変更

ネットショッピングで服を選ぶとき、モデルが歩いたり振り返ったりしたときの生地の揺れ方まで確認できたら便利だと感じる人は多いはずです。

アリババは動画生成の最中に衣装をリアルタイムで着せ替えられる新しいフレームワーク「FashionChameleon」を発表しました。モデルの静止画像と着せたい服のアイテムを与えるだけで、人物のポーズや動きの滑らかさを保ったまま、生成中の動画の衣装をインタラクティブに切り替えることができます。

単一GPUで23.8 FPSを達成

これまでの動画生成AIで人物の衣装を変えようとすると、生成完了まで長い待ち時間が発生したり、服が変わった瞬間に手足の動きが飛んでしまったりするのが常でした。

FashionChameleonはWAN2.2をベースにしており、H200単一カード上で720p解像度の映像を23.8 FPSでリアルタイム生成できます。アリババの研究チームによると、従来のベースライン手法と比べて30倍から180倍高速に動作し、視聴側から見ても待たされている感覚がほぼありません。

上下セパレートの着せ替えや全身コーディネートの丸ごと変更にも対応しており、切り替え時にフレームが飛ぶこともなく、長時間の動画生成でも一貫性を維持できます。

単一の服データだけで実現した工夫

動画内で自然に服を着替えさせるモデルを作るには、本来なら「同じ人物が同じ動作の中で着替える大量の動画ペア」が必要になりますが、そんなデータは世の中にほとんどありません。

そこでアリババは、1種類の服しか映っていない通常の動画データだけを使って学習させるアプローチをとりました。教師モデルにインコンテクスト学習を施し、参照画像と衣装画像にあえて不一致を作って学習させることで、モデル自身に着せ替え時の動作の一貫性を学ばせています。

さらに、ストリーミング蒸留と勾配再重み付けDMDを組み合わせることで長時間の動画破綻とレイテンシを抑え、推論時には訓練不要のKVキャッシュ再スケジューリングによって衣装情報を即座に差し替える仕組みを整えました。GitHubのボタンは用意されていますが、コードや重みの正式配布は準備中となっています。

なぜ重要か

FashionChameleonは、生成AI動画が「事前に書き出すもの」から「ユーザーの入力にリアルタイムで応じるもの」へと進化する重要な転換点を示しています。

ECサイトやライブコマースにとっての実用価値は絶大です。ユーザーが画面上で気になる服をタップするだけで、画面の中のアバターモデルが立ち止まることなくその服に着替えて歩き続ける、といった体験が現実味を帯びてきました。アパレル事業者にとっては、撮影や3Dモデリングにかかる巨額のコストを大幅に削る選択肢になります。

多衣装の大規模データセットを用意する力技ではなく、キャッシュ制御や蒸留といった推論時の工夫でリアルタイム性を勝ち取った設計は非常にスマートです。単一カードで23.8 FPSを出すには現状H200のような高価なハードウェアが必要になるというハードルは残るものの、動画生成AIが対話型のインターフェースを獲得した意義は小さくありません。