StableVideoがオープンソース化：拡散モデルで一貫した動画編集を実現

StableVideoは、テキスト指示によって既存の動画を一貫性を保ちながら編集できるオープンソースツールです。ICCV 2023採択論文をベースにしており、画像拡散モデルを動画に適用した際に発生しやすい激しい画面のチラつきを抑える設計になっています。

どうやって動くのか

本プロジェクトはText2LIVEとControlNetの手法を組み合わせて構築されています。拡散モデルを利用して編集レイヤーを生成しつつ、フレーム間の対応関係を追跡することで、指定した変更を動画全体に破綻なく反映させます。

また、xFormersやCPUオフロードを活用したメモリ最適化が行われており、VRAM消費量を約14GB前後に抑えています。RTX 3090や4090といった単一のコンシューマー向けGPUがあればローカル環境で動かせる設計です。ソースコードはGitHubで公開されており、付属の推論スクリプトですぐに手持ちの動画を試せます。

なぜ重要か

動画生成AIの多くがクラウドの大規模クラスタを前提とする中で、手元のGPUで動作する一貫性重視の編集フレームワークは貴重です。1コマずつ画像生成を通して編集したような不自然なジッターを大幅に抑制できます。

レンダリングにはそれなりの時間がかかり、カメラが激しく動くシーンでは追従が崩れることもあります。それでも、個人クリエイターや研究者がローカルで動画のスタイル変換や部分編集を検証するための出発点として、十分に実用的な選択肢です。