UniVid-X 影片框架釋出：不僅能摳像換背景，還能重構光照與表面法線

現在的 AI 影片生成器很多，但生成出來的東西就像一張被壓平的油畫，如果你想給影片換個夕陽打光，或者把主角單獨摳出來，基本只能乾瞪眼。

研究人員公佈了一項多模態影片框架 UniVid-X，試圖從根本上解決這個問題。它沒有把影片當成死板的彩色畫素，而是讓同一個模型同時理解畫面的幾何結構、光影和圖層關係。

把畫面拆成光照、法線與透明圖層

UniVid-X 本質上依然是一個影片擴散模型，但它掌握了圖形學裡的核心內在屬性。它不僅能輸出普通的 RGB 彩色影片，還能同步生成物體的 albedo（基礎固有色）、irradiance（光照資訊）以及 normal（表面朝向法線）。

除了光影與幾何，它還能精準識別影片中的前景與背景，並直接生成 alpha 透明度通道。這相當於在生成影片的同時，把合成師需要的圖層全都分好了。

在實際演示中，你給系統一段普通影片，模型就能解構出它的法線和光照。如果你輸入一句“黃昏陽光”，它就能在保持畫面結構不變的前提下，給整個場景重新打光。

想要換角色或換背景也很直觀。利用它分離出的高質量前景和背景通道，你可以直接把房間裡的角色替換掉，或者把現實背景換成另一處場景。論文實驗顯示，UniVid-X 在表面法線估計和影片摳像的準確度上，都明顯超過了現有的競品。

不到一千條影片，怎麼做到底層理解

以往處理這類任務，行業習慣是各個擊破：做摳像的訓一個模型，做光照的訓另一個，導致輸入和輸出關係被徹底鎖死，跨模態之間的資訊也無法互通。

UniVid-X 提出了三個關鍵機制來打破這種限制。首先是隨機條件遮罩（SCM），在訓練時隨機把不同模態劃分為已知條件和待生成目標，讓模型具備全向條件生成能力，不再被固定任務束縛。

其次是解耦門控 LoRA（DGL），為每個模態單獨配備微調引數，只有在生成特定目標時才啟用，從而保護了主幹模型原有的影片生成先驗。

最後是跨模態自注意力（CMSA），讓不同模態在共享鍵和值的同時保留各自的查詢，保證了光影和幾何資訊在生成過程中的嚴格對齊。

基於這些設計，團隊推出了面向內在屬性的 UniVid-Intrinsic 和麵向透明圖層分離的 UniVid-Alpha 兩個分支。令人意外的是，模型僅僅使用了不到 1000 個影片進行訓練，就能在各種複雜的真實戶外場景裡穩定泛化。

為什麼重要

對影片剪輯師、後期特效人員和 3D 創作者來說，這正是生成式影片走向工業化所缺失的一環。以往 AI 生成的影片幾乎沒有可編輯性，而 UniVid-X 直接輸出了法線、底色和透明通道，讓 AI 影片第一次能真正對接傳統後期合成與 3D 渲染流程。

對整個行業而言，這指明瞭一條更聰明的技術路徑。它證明了不需要為摳像、打光、法線估計分別訓練龐大的專用網路，影片擴散模型本身的先驗知識，完全可以通過巧妙的模態對齊統一排程。

我們認為 UniVid-X 最亮眼的地方在於效率。很多團隊在死磕海量訓練資料，而它靠不到 1000 條影片就跑出了極強的真實場景泛化能力。不過這一成果目前主要停留在學術驗證階段，未來推向工業管線時，如何保證超長影片的時序一致性以及降低推理算力消耗，仍然需要持續觀察。