NVIDIAが「SANA-Streaming」公開、RTX 5090で1分間の動画をリアルタイム編集

動画内の服装を着替えさせたり、背景の天候を変えたりするAI編集は、これまで数分間のレンダリング待ちが当たり前でした。

もし動画を再生しているその瞬間に、AIが次のフレームを書き換えてくれたらどうでしょうか。

NVIDIAはリアルタイム動画編集システム「SANA-Streaming」をオープンソースで公開しました。わずか20億（2B）パラメータのDiffusion Transformer（DiT）を採用し、1分程度の高解像度動画をリアルタイムに編集できます。

元動画とテキスト指示を与えるだけで、元の動きや未編集エリアの整合性を保ったまま、衣装や背景、映像全体のスタイルを自然に差し替えます。

動画を流しながらチャンク単位で生成する

従来の動画拡散モデルは、動画全体を一度に処理しようとするため、秒数が伸びるだけでメモリが爆発するのが最大の弱点でした。

SANA-Streamingは独自のハイブリッド設計でこの壁を突破しています。線形再帰ユニットであるGated DeltaNetと通常の注意機構を組み合わせ、過去の記憶をコンパクトに保ちながら現在のフレームを高精度に調整します。

状態キャッシュとチャンク単位の生成を採用し、ストリーミング再生のように動画を少しずつ進めながら変換していきます。

さらに、時間が経つにつれて画面が破綻するのを防ぐため、編集後フレームから元フレームを逆復元するサイクル制約学習を導入しました。

この仕組みのおかげで、人物の複雑な身振りや背景の構造が勝手に崩れる現象をしっかり防いでいます。

RTX 5090で実用的な24 FPSを記録

アルゴリズムだけでなく、現場での実行速度を極限まで追求した点も見逃せません。

カーネル融合と混合精度量子化により、コンシューマー向け最上位カードでの動作に最適化されています。

RTX 5090環境において、1280×704解像度でDiT単体なら58 FPS、システム全体のエンドツーエンド処理でも24 FPSに達し、リアルタイム再生の基準をクリアしました。

ソースコードはGitHubで公開されており、Hugging Face上には5秒動画用の双方向モデルと1分動画用のストリーミングモデルの重みが提供されています。

なぜ重要か

クリエイターにとって、動画編集の体験が根本から変わる可能性を秘めています。重い処理を待つのではなく、映像を見ながらプロンプトを打ち直してその場で結果を確認できるようになります。

業界全体にとっても、パラメータの巨大化だけに頼らないアプローチとして価値があります。適切なハイブリッド構造を組めば、2B規模の軽量モデルでも長尺の一貫性と圧倒的な低遅延を両立できると証明したからです。

私たちは、NVIDIAが実用的な動画変換という領域に絞り込み、自社ハードウェアの強みを引き出す形で公開した点を高く評価しています。

ただし、24 FPSの恩恵をフルに受けるにはRTX 5090クラスのカードが前提となります。一般的な制作現場に広く普及するには、さらなる軽量化やモデル圧縮の進展を待つ必要がありそうです。