Netflixら、動画拡散モデルの動きを制御する新手法「Go with the Flow」発表

AI動画生成でカメラワークや被写体の動きを思い通りに制御しようとすると、巨大なモデルの再学習や複雑な追加モジュールが必要になるのが一般的でした。

Netflix傘下のEyeline Researchチームが発表した「Go-with-the-Flow」は、そうした常識を覆す新しいアプローチを提案しています。モデルの構造や学習パイプラインには一切手を加えず、潜在ノイズのサンプリング方法を変えるだけで高度なモーション制御を実現しました。

オプティカルフローでノイズをリアルタイムに変形

通常の動画拡散モデルは、フレームごとに独立した完全なランダムガウスノイズから映像を生成するため、時間的なつながりを保つ負荷がモデル側に集中します。

Go-with-the-Flowでは、動画の前処理段階でオプティカルフローを活用するリアルタイムなノイズ変形アルゴリズムを導入しました。時間方向のランダムなノイズをオプティカルフローに沿った相関ノイズに置き換えつつ、空間方向のガウス分布特性はそのまま維持します。

この工夫により、1コマごとの画質を落とすことなく、指定した動きを滑らかに反映させることが可能になりました。

モデルを変えずに多様な動きを制御

データ側の処理で完結するため、既存の動画拡散ベースモデルをわずかな計算コストでファインチューニングできます。

対応できる操作も幅広く、画面内の特定オブジェクトの移動指定、カメラのパンやズームといったグローバルな視点移動、さらには別動画からのモーション転送まで1つの手法でカバーします。プロジェクトページでは生成例のほか、ソースコードとモデルウェイトもGitHubで公開されています。

なぜ重要か

映像制作の現場にとって、カメラや被写体の動きをピンポイントで指示できない点は生成AI実用化の大きな壁でした。モデルを丸ごと差し替えることなく、手軽に狙い通りのテイクを出せるようになる価値は極めて高いと言えます。

業界全体から見ても、本研究の「構造をいじらずデータとノイズの数学的処理で解く」という発想は非常にスマートです。パラメータの肥大化やアダプタの乱立に頼りがちだった制御技術に対して、低コストで拡張性の高い代替案を示しました。懸念点としては、オプティカルフローの推定精度に依存するため、激しいオクルージョンや急激なライティング変化に対してどこまで破綻せずに粘れるかという点が挙げられます。それでも、基盤モデルのポテンシャルを最小限の負荷で引き出す手法として、今後の動画生成パイプラインに大きな影響を与えるはずです。