StableVideo 開源：基於擴散模型做文本驅動的影片一致性編輯

StableVideo 是一個面向文本驅動影片編輯的開源工具，源自 ICCV 2023 論文。它能讓你用提示詞修改已有影片的內容與外觀，同時盡力維持前後幀的一致性，減少擴散模型常見的畫面閃爍。

它是怎麼做到的

專案結合了 Text2LIVE 與 ControlNet 的架構思路，藉助預訓練擴散模型生成編輯圖層，並通過對外觀資訊與跨幀對應關係的建模，把單幀修改穩定傳遞到整個影片序列中。

為了降低門檻，開發團隊引入了 CPU 視訊記憶體解除安裝與 xFormers 加速，將視訊記憶體佔用壓到了約 14GB VRAM。這意味著像 RTX 3090 或 4090 這樣的單張消費級顯示卡就能在本地執行。相關程式碼已經開源，使用者可以通過提供的指令碼直接測試自己的影片素材。

為什麼重要

如果你在尋找能夠跑在本地顯示卡上的影片編輯工具，StableVideo 很值得拉下來試試。相比於直接拿單幀生圖模型批處理導致的嚴重抽搐，它在時序一致性上做了針對性改進。

當然，受制於擴散模型本身的迭代開銷，它的渲染速度依然較慢，面對複雜的大幅度運動場景也難免出現形變漂移。但對獨立創作者和演算法研究者來說，它提供了一個低門檻且可二次開發的實用起點。