京東開源 JoyAI-Video-Edit：文字即時修影片，720p 達 30 幀

JoyAI-Video-Edit 是一個讓你用文字指令即時修改影片的開源工具，不用等整段影片傳完，畫面進來一幀就改一幀。

你可以把它直接連上攝像頭，或者傳一段現成影片，輸入一句話就能改。比如讓人換上一套衣服、把街景換成水彩或者城堡風格，或者抹掉畫面裡多餘的角色並自動把背景補齊。

它能做什麼

傳統的 AI 影片編輯通常需要先把整段影片傳完，在後臺離線渲染半天，才能看到成片。JoyAI-Video-Edit 走的是流式處理路線，不需要預設影片長度，也不需要看未來的畫面。

從官方給出的測試和演示來看，整個系統的操作延遲只有大約 1 秒。在演示介面裡，測試者一邊對著攝像頭動作，一邊連續切換服裝提示詞，畫面幾乎無縫跟著換裝。

具體能力覆蓋得很全面。無論是全域性風格遷移，比如把畫面整體轉為水彩畫或英國城堡貴族風；還是複雜的區域性細節修改，比如把畫面裡的狗全部變成白色、戴上派對帽、再把其中一隻的墨鏡改成亮粉色；甚至直接指定移除畫面兩側穿粉衣服的白貓，它都能把缺失的背景補平。

它還支援參考影像引導編輯，也就是所謂的 RV2V。比如你給一張外套的照片，模型就能把影片裡的人物直接換上這件衣服，並且在人物連續活動時保持衣服的細節和特徵不崩。

怎麼跑起來

這套系統底層由三部分組成：一個負責理解指令的多模態大模型編碼器、一個因果影片 VAE，以及一個 16B 引數的多模態 Diffusion Transformer（MMDiT）。

團隊把它設計成了自迴歸擴散模型，結合了分佈匹配蒸餾和有限 KV 快取推理等最佳化，保證每處理一塊影片時的計算量穩定，減少長時間處理帶來的漂移。

速度表現相當亮眼。在端到端部署基準測試裡，系統在 720 × 1248 解析度下能跑出 30 FPS。即使換到消費級顯示卡，單張 32GB 視訊記憶體的 RTX 5090 也能在 840 × 480 解析度下跑到 24 FPS；在工作站級的 RTX PRO 6000 上，能跑 480p 24 FPS 或者 720p 16 FPS。

門檻方面，模型權重檔案本身就有 32.5 GB，因此一張大視訊記憶體的高階顯示卡是硬性要求。部署時依賴 Python 3.10 環境，需要編譯專用的 CUDA 運算元庫，並配合 SageAttention 或 flash-attn-4 執行。

專案目前開源得非常徹底，程式碼與模型權重均已上線，開源協議採用極為寬鬆的 Apache 2.0，允許商業化應用。如果你不想自己折騰環境，官方在 Hugging Face 上提供了可以直接用網頁攝像頭體驗的線上 Demo。同時團隊還開源了長影片編輯評測基準 LongV2VBench 和示例訓練指令碼。

為什麼重要

以往的開源影片生成或編輯模型普遍很重，做幾秒鐘的片段就要等上幾分鐘，根本談不上互動。JoyAI-Video-Edit 把 720p 的處理速度拉到了 30 FPS，配合約 1 秒的延遲，第一次把生成式影片編輯推進到了接近即時濾鏡的實用水平。

我們認為，如果你的業務涉及虛擬直播換裝、即時特效相機或者互動式影片創作，這個專案非常值得立刻拉下來試一試。它不僅在速度上明顯拉開差距，編輯質量在業內測試中也逼近閉源工具的水準。不過它的硬體門檻依然擺在那裡，32GB 視訊記憶體註定只能在少數發燒友的顯示卡或雲端伺服器上跑，離普通手機和輕薄本還有相當長的一段距離。