InstructAV2AV 釋出：AI 影片編輯能音畫同改，一句話換人改臺詞

過去用 AI 改影片，最讓人頭疼的往往不是畫面，而是聲音。

你用提示詞把影片裡的主角換成另一套衣服或另一個人，畫面改得再順，背景音和人聲卻紋絲不動。想要聲畫對齊，剪輯師必須先把音軌抽出來，去音訊工具裡重新生成音效或配音，再回剪輯軟體逐幀對齊口型。

研究團隊釋出了端到端音影片聯合編輯框架 InstructAV2AV，試圖讓這種割裂的流程成為過去。

一句話下命令，不用摳圖也不用切音軌

InstructAV2AV 最大的特點，是把影片畫面和伴隨聲音當成一個整體來改。

使用者只需要給出一句自然語言指令，模型就能同步完成換人、修改臺詞語音、增加或刪除特定內容。整個過程不需要手動繪製任何遮罩，模型會自動識別需要變動的區域與聲音訊段。

更關鍵的是，它在替換目標內容的同時，能讓原始影片裡的背景和無關環境音保持穩定。如果你只是想把臺詞改掉，或者把桌上的杯子換成花瓶，周圍的街道環境和背景雜音並不會跟著變形。

為了訓練這種音畫同時編輯的能力，團隊首先構建了名為 InsAVE-80K 的資料集，包含 8 萬對高質量的編輯前後對照資料，填補了多模態聯合編輯缺乏成對樣本的空白。

潛碼拼接與門控注意力：音畫如何不打架

在架構上，InstructAV2AV 結合了 Ovi、Wan2.2 和 T5 等元件，直接複用已有的多模態生成先驗。

為了防止編輯時“改過頭”導致畫面崩塌，團隊將原始音影片輸入與帶噪聲的潛變數拼接在一起，用原片資訊牢牢錨定上下文基準。

同時，系統引入了源指令門控注意力機制，用來平衡“聽從新指令”和“保留原內容”之間的衝突，最後再通過兩階段訓練策略把預訓練先驗遷移到位。

從實驗資料看，該框架在兩個評測集上覆蓋三個維度的 11 項指標中，表現均超過了現有的分立編輯方法。

為什麼重要

我們認為，InstructAV2AV 標誌著多模態編輯正在從“視覺修圖”轉向“視聽一體系統”。

對創作者和影片後期團隊來說，如果未來這種能力落地到商用剪輯套件，影片本地化譯配、影視微調和短影片二創的門檻將發生質變。創作者不再需要在影片合成器和數字音訊工作站（DAW）之間來回倒騰，剪輯變成真正意義上的“對 AI 說話”。

在行業層面，這也給多模態生成模型提了個醒：把視覺和音訊割裂成兩個模型再拼裝，終究只是權宜之計。端到端的音影片聯合建模，才是未來多模態編輯的基礎底座。

不過，該專案目前仍以學術論文和技術驗證為主。InsAVE-80K 雖然解決了初步的資料缺乏，但在複雜的多人對話、極度動態的音效遮擋等極限場景下，AI 能否穩定維持口型和聲學空間的一致性，依然需要在真實的生產環境裡接受檢驗。