InstructAV2AV 发布：AI 视频编辑能音画同改，一句话换人改台词

过去用 AI 改视频，最让人头疼的往往不是画面，而是声音。

你用提示词把视频里的主角换成另一套衣服或另一个人，画面改得再顺，背景音和人声却纹丝不动。想要声画对齐，剪辑师必须先把音轨抽出来，去音频工具里重新生成音效或配音，再回剪辑软件逐帧对齐口型。

研究团队发布了端到端音视频联合编辑框架 InstructAV2AV，试图让这种割裂的流程成为过去。

一句话下命令，不用抠图也不用切音轨

InstructAV2AV 最大的特点，是把视频画面和伴随声音当成一个整体来改。

用户只需要给出一句自然语言指令，模型就能同步完成换人、修改台词语音、增加或删除特定内容。整个过程不需要手动绘制任何遮罩，模型会自动识别需要变动的区域与声音频段。

更关键的是，它在替换目标内容的同时，能让原始视频里的背景和无关环境音保持稳定。如果你只是想把台词改掉，或者把桌上的杯子换成花瓶，周围的街道环境和背景杂音并不会跟着变形。

为了训练这种音画同时编辑的能力，团队首先构建了名为 InsAVE-80K 的数据集，包含 8 万对高质量的编辑前后对照数据，填补了多模态联合编辑缺乏成对样本的空白。

潜码拼接与门控注意力：音画如何不打架

在架构上，InstructAV2AV 结合了 Ovi、Wan2.2 和 T5 等组件，直接复用已有的多模态生成先验。

为了防止编辑时“改过头”导致画面崩塌，团队将原始音视频输入与带噪声的潜变量拼接在一起，用原片信息牢牢锚定上下文基准。

同时，系统引入了源指令门控注意力机制，用来平衡“听从新指令”和“保留原内容”之间的冲突，最后再通过两阶段训练策略把预训练先验迁移到位。

从实验数据看，该框架在两个评测集上覆盖三个维度的 11 项指标中，表现均超过了现有的分立编辑方法。

为什么重要

我们认为，InstructAV2AV 标志着多模态编辑正在从“视觉修图”转向“视听一体系统”。

对创作者和视频后期团队来说，如果未来这种能力落地到商用剪辑套件，视频本地化译配、影视微调和短视频二创的门槛将发生质变。创作者不再需要在视频合成器和数字音频工作站（DAW）之间来回倒腾，剪辑变成真正意义上的“对 AI 说话”。

在行业层面，这也给多模态生成模型提了个醒：把视觉和音频割裂成两个模型再拼装，终究只是权宜之计。端到端的音视频联合建模，才是未来多模态编辑的基础底座。

不过，该项目目前仍以学术论文和技术验证为主。InsAVE-80K 虽然解决了初步的数据缺乏，但在复杂的多人对话、极度动态的音效遮挡等极限场景下，AI 能否稳定维持口型和声学空间的一致性，依然需要在真实的生产环境里接受检验。