PermaVid：拆分外觀與 3D 結構記憶，解決 AI 影片編輯「改完就忘」

如果你試過用 AI 改影片，大機率遇到過這種讓人抓狂的場面：你在前兩秒給主角換了件紅夾克，鏡頭一轉，夾克又變回了原來的顏色，甚至整個人臉都變了樣。

現在的生成式影片模型基本都是「金魚腦」。改一個物體或者換一種畫風，模型往後生成幾幀就把前面的改動拋到了腦後。說白了，以前的上下文記憶把畫面裡的所有東西揉成一團，改動一旦發生，舊記憶就全作廢了。

6 月 15 日開源的影片編輯框架 PermaVid，就是衝著這個痛點來的。它的思路很直接：既然揉在一起容易亂，那就把影片的「長相」和「骨架」拆開來記。

把外觀和 3D 結構拆成兩個記憶庫

PermaVid 的核心做法，是搭建了一套多模態解耦上下文記憶系統，把一幀畫面拆成兩個獨立的記憶庫來存。

第一個是 RGB 外觀記憶庫。它專門記錄畫面裡的顏色、材質、紋理這些語義外觀資訊，同時隱式包含部分幾何位置。

第二個是 Depth 深度記憶庫。它完全不關心物體長什麼樣、是什麼顏色，只死死咬住場景背後的 3D 空間結構和幾何縱深。

有了這兩個庫，再配合一套感知編輯的更新與檢索策略，模型就知道哪些地方該變、哪些地方該留。

比如你想做全域性風格化，把現實街景變成動漫風。PermaVid 會用深度記憶庫鎖死整條街的建築縱深和透視關係，只讓外觀記憶庫去刷上新的動漫色彩，鏡頭怎麼轉都不會出現房子扭曲穿模的尷尬情況。

要是做區域性替換，比如把桌上的水杯換成咖啡杯，它就只更新杯子所在區域的外觀記憶，場景裡其他物體的 3D 結構和光影完全不受干擾。

目前 PermaVid 已經在論文頁面附帶了程式碼倉庫，並且提供了在本地電腦上部署執行的具體說明。

為什麼重要

AI 生成影片正在從「能生成幾秒片段」走向「真正能進後期管線製作」，而最大的攔路虎就是可控編輯與長程一致性。

對影片創作者和特效師來說，PermaVid 這種思路非常實用。以往改一個道具往往需要整段重新抽卡，或者在剪輯軟體裡一幀一幀摳圖打補丁。如果模型自身具備持久記憶，能夠在多次修改後依然認得之前的改動，互動式影片修圖才算真正有了落地可能。

從技術路徑來看，我們認為 PermaVid 走了一步很聰明的棋。它沒有一味去卷更大的單體模型引數，而是借鑑了 3D 視覺裡成熟的深度與幾何先驗，用空間解耦的方式來給擴散模型補課。把幾何結構和外觀紋理分流處理，不僅計算邏輯更清晰，也避免了外觀變化把空間透視帶偏的問題。

不過目前這套方案依然屬於學術開源的原型階段。在本地執行時，深度估計的精度以及雙記憶庫檢索帶來的額外推理開銷，都是實際工程落地中需要權衡的地方。但不管怎麼說，搞定 AI 的「健忘症」，影片生成工具才算真正拿到了進入專業工作流的門票。