京东开源 JoyAI-Video-Edit：文字即时修视频，720p 达 30 帧

JoyAI-Video-Edit 是一个让你用文字指令实时修改视频的开源工具，不用等整段视频传完，画面进来一帧就改一帧。

你可以把它直接连上摄像头，或者传一段现成视频，输入一句话就能改。比如让人换上一套衣服、把街景换成水彩或者城堡风格，或者抹掉画面里多余的角色并自动把背景补齐。

它能做什么

传统的 AI 视频编辑通常需要先把整段视频传完，在后台离线渲染半天，才能看到成片。JoyAI-Video-Edit 走的是流式处理路线，不需要预设视频长度，也不需要看未来的画面。

从官方给出的测试和演示来看，整个系统的操作延迟只有大约 1 秒。在演示界面里，测试者一边对着摄像头动作，一边连续切换服装提示词，画面几乎无缝跟着换装。

具体能力覆盖得很全面。无论是全局风格迁移，比如把画面整体转为水彩画或英国城堡贵族风；还是复杂的局部细节修改，比如把画面里的狗全部变成白色、戴上派对帽、再把其中一只的墨镜改成亮粉色；甚至直接指定移除画面两侧穿粉衣服的白猫，它都能把缺失的背景补平。

它还支持参考图像引导编辑，也就是所谓的 RV2V。比如你给一张外套的照片，模型就能把视频里的人物直接换上这件衣服，并且在人物连续活动时保持衣服的细节和特征不崩。

怎么跑起来

这套系统底层由三部分组成：一个负责理解指令的多模态大模型编码器、一个因果视频 VAE，以及一个 16B 参数的多模态 Diffusion Transformer（MMDiT）。

团队把它设计成了自回归扩散模型，结合了分布匹配蒸馏和有限 KV 缓存推理等优化，保证每处理一块视频时的计算量稳定，减少长时间处理带来的漂移。

速度表现相当亮眼。在端到端部署基准测试里，系统在 720 × 1248 分辨率下能跑出 30 FPS。即使换到消费级显卡，单张 32GB 显存的 RTX 5090 也能在 840 × 480 分辨率下跑到 24 FPS；在工作站级的 RTX PRO 6000 上，能跑 480p 24 FPS 或者 720p 16 FPS。

门槛方面，模型权重文件本身就有 32.5 GB，因此一张大显存的高端显卡是硬性要求。部署时依赖 Python 3.10 环境，需要编译专用的 CUDA 算子库，并配合 SageAttention 或 flash-attn-4 运行。

项目目前开源得非常彻底，代码与模型权重均已上线，开源协议采用极为宽松的 Apache 2.0，允许商业化应用。如果你不想自己折腾环境，官方在 Hugging Face 上提供了可以直接用网页摄像头体验的在线 Demo。同时团队还开源了长视频编辑评测基准 LongV2VBench 和示例训练脚本。

为什么重要

以往的开源视频生成或编辑模型普遍很重，做几秒钟的片段就要等上几分钟，根本谈不上交互。JoyAI-Video-Edit 把 720p 的处理速度拉到了 30 FPS，配合约 1 秒的延迟，第一次把生成式视频编辑推进到了接近实时滤镜的实用水平。

我们认为，如果你的业务涉及虚拟直播换装、实时特效相机或者交互式视频创作，这个项目非常值得立刻拉下来试一试。它不仅在速度上明显拉开差距，编辑质量在业内测试中也逼近闭源工具的水准。不过它的硬件门槛依然摆在那里，32GB 显存注定只能在少数发烧友的显卡或云端服务器上跑，离普通手机和轻薄本还有相当长的一段距离。