JDが「JoyAI-Video-Edit」公開：指示文で720p動画をリアルタイム編集

JoyAI-Video-Editは、自然言語のプロンプトを使って動画をリアルタイムに編集できるオープンソースツールです。動画全体のアップロード完了を待つ必要がなく、入力フレームが届くたびに順次編集を適用していきます。

Webカメラを自分に向けたり既存の動画を読み込ませたりして指示文を入力するだけで、人物の衣装を着せ替えたり、部屋の風景を英国貴族の城風に変えたり、不要な人物を消して背景を自動補完したりできます。

何ができるのか

従来のAI動画編集は、動画全体を渡してバックグラウンドで時間をかけてオフライン生成するのが一般的でした。JoyAI-Video-Editはストリーミング処理を前提としており、動画の長さを事前指定することなく、未来のフレームを参照せずに編集を進めます。

公開されているデモでは操作遅延はおよそ1秒程度に抑えられており、カメラの前で人物が動きながら次々と指示文を変えても、途切れずに衣装が切り替わっていきます。

編集機能も多彩です。動画全体を水彩画風に変えるようなグローバルなスタイル変換はもちろん、動画内の犬をすべて白くしてパーティーハットをかぶせ、サングラスを鮮やかなピンクに変えるといった細かな局所編集にも対応します。さらに参照画像を使った編集（RV2V）も可能で、服の画像を与えるだけで、動画内の人物にその服を着せ替えて違和感なく追従させることができます。

どう動かすのか

内部構成は、MLLMベースの条件エンコーダー、因果的ビデオVAE、そして16B（160億）パラメータのマルチモーダルDiffusion Transformer（MMDiT）で構成されています。自己回帰拡散モデルとして設計されており、蒸留技術や制限付きKV状態推論を組み合わせることで、長時間の処理でも品質の破綻を防ぎながら安定した処理速度を維持します。

処理能力は強力で、エンドツーエンドのベンチマークにおいて720 × 1248解像度で30FPSを達成しています。コンシューマー向けGPUでも、32GBメモリを積んだGeForce RTX 5090単体で840 × 480解像度・24FPSのストリーミング編集が可能です。RTX PRO 6000では480pで24FPS、720pで16FPSを記録しています。

注意点として、モデルファイル単体で32.5GBあるため、大容量VRAMを搭載したハイエンドGPUが必須となります。動作にはPython 3.10環境や専用のCUDAカーネルのビルド、SageAttentionやflash-attn-4の導入が必要です。

プロジェクトは寛容なApache 2.0ライセンスでコードとモデル重みが公開されており、商用利用も可能です。Hugging Face上にはブラウザで試せるWebカメラデモが用意されているほか、長尺動画編集評価用のLongV2VBenchや学習スクリプトも提供されています。

なぜ重要か

動画生成AIの多くが数十秒の出力に数分を要するなかで、720p・30FPSという実時間フレームレートを達成し、約1秒の遅延で動く動画編集システムをオープンソース化した意味は小さくありません。

ライブ配信でのリアルタイムアバター・衣装変更や、インタラクティブな映像制作ツールを開発している人なら、今すぐ試す価値があります。32GB以上のVRAMが必要というハードルはあるものの、ローカルや自前のサーバーで動くリアルタイム動画編集の基盤として、先行する閉源ツールに迫る実用的な選択肢が登場したと言えます。