PermaVid：拆分外观与 3D 结构记忆，解决 AI 视频编辑「改完就忘」

如果你试过用 AI 改视频，大概率遇到过这种让人抓狂的场面：你在前两秒给主角换了件红夹克，镜头一转，夹克又变回了原来的颜色，甚至整个人脸都变了样。

现在的生成式视频模型基本都是「金鱼脑」。改一个物体或者换一种画风，模型往后生成几帧就把前面的改动抛到了脑后。说白了，以前的上下文记忆把画面里的所有东西揉成一团，改动一旦发生，旧记忆就全作废了。

6 月 15 日开源的视频编辑框架 PermaVid，就是冲着这个痛点来的。它的思路很直接：既然揉在一起容易乱，那就把视频的「长相」和「骨架」拆开来记。

把外观和 3D 结构拆成两个记忆库

PermaVid 的核心做法，是搭建了一套多模态解耦上下文记忆系统，把一帧画面拆成两个独立的记忆库来存。

第一个是 RGB 外观记忆库。它专门记录画面里的颜色、材质、纹理这些语义外观信息，同时隐式包含部分几何位置。

第二个是 Depth 深度记忆库。它完全不关心物体长什么样、是什么颜色，只死死咬住场景背后的 3D 空间结构和几何纵深。

有了这两个库，再配合一套感知编辑的更新与检索策略，模型就知道哪些地方该变、哪些地方该留。

比如你想做全局风格化，把现实街景变成动漫风。PermaVid 会用深度记忆库锁死整条街的建筑纵深和透视关系，只让外观记忆库去刷上新的动漫色彩，镜头怎么转都不会出现房子扭曲穿模的尴尬情况。

要是做局部替换，比如把桌上的水杯换成咖啡杯，它就只更新杯子所在区域的外观记忆，场景里其他物体的 3D 结构和光影完全不受干扰。

目前 PermaVid 已经在论文页面附带了代码仓库，并且提供了在本地电脑上部署运行的具体说明。

为什么重要

AI 生成视频正在从「能生成几秒片段」走向「真正能进后期管线制作」，而最大的拦路虎就是可控编辑与长程一致性。

对视频创作者和特效师来说，PermaVid 这种思路非常实用。以往改一个道具往往需要整段重新抽卡，或者在剪辑软件里一帧一帧抠图打补丁。如果模型自身具备持久记忆，能够在多次修改后依然认得之前的改动，交互式视频修图才算真正有了落地可能。

从技术路径来看，我们认为 PermaVid 走了一步很聪明的棋。它没有一味去卷更大的单体模型参数，而是借鉴了 3D 视觉里成熟的深度与几何先验，用空间解耦的方式来给扩散模型补课。把几何结构和外观纹理分流处理，不仅计算逻辑更清晰，也避免了外观变化把空间透视带偏的问题。

不过目前这套方案依然属于学术开源的原型阶段。在本地运行时，深度估计的精度以及双记忆库检索带来的额外推理开销，都是实际工程落地中需要权衡的地方。但不管怎么说，搞定 AI 的「健忘症」，视频生成工具才算真正拿到了进入专业工作流的门票。