StableVideo 开源：基于扩散模型做文本驱动的视频一致性编辑

StableVideo 是一个面向文本驱动视频编辑的开源工具，源自 ICCV 2023 论文。它能让你用提示词修改已有视频的内容与外观，同时尽力维持前后帧的一致性，减少扩散模型常见的画面闪烁。

它是怎么做到的

项目结合了 Text2LIVE 与 ControlNet 的架构思路，借助预训练扩散模型生成编辑图层，并通过对外观信息与跨帧对应关系的建模，把单帧修改稳定传递到整个视频序列中。

为了降低门槛，开发团队引入了 CPU 显存卸载与 xFormers 加速，将显存占用压到了约 14GB VRAM。这意味着像 RTX 3090 或 4090 这样的单张消费级显卡就能在本地运行。相关代码已经开源，用户可以通过提供的脚本直接测试自己的视频素材。

为什么重要

如果你在寻找能够跑在本地显卡上的视频编辑工具，StableVideo 很值得拉下来试试。相比于直接拿单帧生图模型批处理导致的严重抽搐，它在时序一致性上做了针对性改进。

当然，受制于扩散模型本身的迭代开销，它的渲染速度依然较慢，面对复杂的大幅度运动场景也难免出现形变漂移。但对独立创作者和算法研究者来说，它提供了一个低门槛且可二次开发的实用起点。