画像から2K動画を生成する「SwiftI2V」登場　RTX 4090単体で動作、計算時間を202分の1に

静止画から動画を生成するAIツールは急速に進化していますが、解像度を2Kに引き上げた途端、ハードウェアの壁に突き当たるのが現状です。多くのGPUでVRAM不足エラーが発生し、処理時間も跳ね上がります。

現在の主流なアプローチはどちらも妥協を強いられています。最初から最後まで2Kで一気に生成するエンドツーエンド方式は膨大な計算資源とメモリを要求し、一般的なPCでは動作しません。一方、低解像度で動画を作ってから超解像モデルで拡大する方式は、元画像のディテールを正確に維持できず、動きの中で顔が歪んだり不自然なノイズが出たりしがちです。

こうした課題に対し、研究チームは5月7日、高効率な画像・動画変換フレームワーク「SwiftI2V」を発表しました。

動きの下書きを作り、分割して高精細化する

SwiftI2Vのアプローチは非常に合理的です。重い処理を力技でこなすのではなく、生成工程を2段階に分割しています。

第1段階では、入力画像をもとにまず低解像度のモーションリファレンスを作成します。被写体がどう動き、カメラがどう移動するかの「粗い下書き」を低コストで固める作業です。

第2段階では、その下書きの動きに沿いながら、元の高解像度画像を手がかりにして2K映像へと仕上げていきます。元画像を強い条件として参照し続けるため、一般的なアップスケーラーのように架空のディテールを勝手に捏造することがありません。

さらにメモリ消費を抑える中核技術が「条件付き分割生成（Conditional Segment-wise Generation）」です。動画全体を一度に処理せず、時間軸に沿って小さなセグメントに分割して生成を進めます。各セグメント間で双方向のコンテキスト情報を共有させることで、分割生成にありがちな継ぎ目の不自然さやチラつきを抑えています。

民生用グラフィックボードで2K動画が動くインパクト

この工夫により、計算効率は桁違いに向上しました。研究チームの報告によると、2K解像度の評価ベンチマーク「VBench-I2V」において、従来のエンドツーエンド基線モデルと同等の画質を保ちながら、総GPU計算時間を202分の1に短縮したといいます。

最大出力は2K解像度で81フレーム。そして何より注目すべきは、データセンター向けのH800だけでなく、24GBのVRAMを備えた民生用GPU「GeForce RTX 4090」単体でこの2K生成が完結する点です。

品質面でも既存手法の弱点を克服しています。従来のアップスケーリングは人物の顔が崩れやすく、Cinncaleのような先行手法も元動画のカメラワークを無視してしまう傾向がありました。SwiftI2Vは人物の顔立ちの破綻を防ぎつつ、カメラのダイナミックな動きもそのまま再現できるとしています。

なぜ重要か

SwiftI2Vが示したのは、AI動画の進化を高価なクラスタ環境だけに閉じ込めず、個人の作業環境へ引き戻す道筋です。

個人クリエイターや小規模なスタジオにとって、クラウドの莫大なコンピュート費用を払うことなく、手元のRTX 4090で実用的な2K動画素材を生成できる価値は小さくありません。動くコンセプトアートやWeb広告、SNS向けの短尺クリエイティブ制作において、試行錯誤の敷居を一気に下げる可能性があります。

業界全体にとっても、力まかせのエンドツーエンド学習一辺倒から、効率的な二段階設計と分割推論へのシフトを促す好例となるはずです。限られたトークン予算内でコンテキストを破綻させない仕組みは、今後の高解像度モデルの標準的な最適化手法になり得ます。

ただし、現時点で生成できるのは81フレーム、時間にして3〜4秒程度にとどまります。この分割生成アプローチをさらに長いカットへ拡張した際に、どれだけ時間的な一貫性を保てるかが今後の実用化に向けた課題になりそうです。