EditYourself 影片編輯利器：改說話內容消除卡殼，無縫對齊口型

錄過口播或者演講影片的人都懂，最讓人崩潰的往往不是記不住詞，而是錄到一半突然卡殼、結巴了一下。

按傳統的剪輯辦法，你把結巴那半秒剪掉，畫面肯定會猛地跳一下，也就是讓人出戲的「硬切」。要是不想留硬切，就只能重錄一遍，或者找素材蓋上去。

來自 Pipio AI 的 John Flynn、Wolfgang Paier、Dimitar Dinev，與 Sam Nhut Nguyen 等多位研究者釋出了影片編輯框架 EditYourself，想要徹底改變這套後期流程。

像改 Word 文件一樣改影片

EditYourself 做的事情說白了很簡單：它讓影片剪輯變得像修改文本文件一樣直觀。

只要在文字轉錄稿裡刪掉卡殼的字詞，或者直接換上一句全新的臺詞，AI 就會自動根據新音訊重新生成對應的口型與面部運動，並且無縫拼回原影片裡。

在研究展示的例子裡，歐巴馬演講時有多次猶豫和卡殼。傳統手動剪輯去掉這些卡頓後畫面跳動明顯，而 EditYourself 去除卡殼後，人物動作和表情過渡非常自然，完全看不出拼接痕跡。

更厲害的是，它不僅能修剪掉「who who has...」這類結巴短句，還能直接往原影片裡插入原本沒說過的全新句子，或者刪改整段內容，同時保持原主體的身份特徵和光影連貫。

140 億引數模型，拆成兩趟跑

目前的影片生成模型大多擅長從頭畫一段新影片，但在已有影片上做區域性微調時，人物容易變臉，背景也會晃動。EditYourself 是怎麼穩住畫面的？

它的底層基於 140 億引數的 LTX-0.9.7 擴散變換器（DiT）以及配套的 Video-VAE，在 32×32×8 壓縮率的潛空間裡進行微調。影片生成採用兩趟渲染機制，先在粗糙表徵上完成初步去噪，再通過學習上取樣進行高解析度去噪。

為了保證口型嚴絲合縫，團隊設計了兩階段訓練方案和窗化音訊調節策略。這套方案不用對音訊特徵做降取樣，也不受影片原始幀率的限制。

面對長影片中容易出現的臉部變形和時序漂移問題，他們引入了名為「前後向 RoPE 條件調節」的參考身份機制，並結合 TeaCache 感知推理，讓長片段裡的角色外貌始終保持穩定。

為什麼重要

對於內容創作者和影片製作團隊來說，EditYourself 帶來的最大改變是工作流的顛覆。過去的規則是「指令碼必須完美才能開機」，現在變成了「先拍一遍，臺詞後面再改」。哪怕錄製後發現某句話說錯了、事實資料需要更新，或者需要為不同渠道定製不同版本，都不需要把演講者重新請回影棚，敲幾下鍵盤就能完成修正。

這一特性如果進一步接入大語言模型，完全有可能讓 AI 智慧體自主接管粗剪和去口水詞的工作，把後期剪輯的枯燥環節大幅壓縮。

不過，這種技術的門檻降低也伴隨著顯而易見的隱患。能夠無縫替換臺詞、甚至憑空插入一整句話，意味著深度偽造的製作成本再次斷崖式下跌。以前靠看口型跳變、聽音訊瑕疵來辨別真偽的經驗正在迅速失效。我們認為，在商業剪輯軟體迅速整合這項功能的同時，行業必須儘快在生成的每一幀裡建立可靠的數字水印與溯源標準，否則假影片帶來的信任危機只會比現在更棘手。