Stability AI 釋出 SV4D 2.0：單段影片直接轉 4D 資產

Stable Video 4D 2.0（簡稱 SV4D 2.0）能把你隨手拍的一段單角度影片，直接變成可以在三維空間裡任意旋轉、帶有時序動態的 4D 資產。

Stability AI 正式釋出了這個多視角影片擴散模型。和上一代相比，它最大的改進是徹底甩掉了多相機陣列和預處理流程。你不需要先準備多角度參考圖，只要有一段以單一物體為中心的普通真實影片，它就能同時生成多個視角的動態幀並完成新視角合成。

它能做什麼

對做內容的人來說，三維動態資產的建模一直是個體力活。SV4D 2.0 瞄準的就是這個痛點，試圖把單鏡頭影片直接接入專業的製作管線。

比如在遊戲開發中，你可以用它從單段動作影片直接渲染出角色的多視角 sprite sheet；在影視和虛擬世界製作裡，它也能快速生成帶動態效果的背景道具和輔助資產，省去大量人工對齊模型和綁骨骼的時間。

官方公佈的基準測試裡，SV4D 2.0 在四大指標上都拿下了第一。衡量影像保真度的 LPIPS、衡量多視角一致性的 FVD-V、衡量時間連貫性的 FVD-F，以及專門的 FV4D 綜合指標，表現都全面優於 DreamGaussian4D、L4GM 和初代 SV4D。

在單純的新視角合成任務上，它的表現也壓過了 Diffusion^2 和此前的 SV3D，生成的畫面明顯更清晰，轉角時的拉伸和模糊少了很多。

怎麼做到的與侷限

從單一視角腦補未見過的三維結構本來就極難，一旦物體動起來，前後幀的結構極容易崩解。SV4D 2.0 主要是靠兩處改動穩住了畫面。

首先是分階段訓練。團隊先讓模型在靜態 3D 資產上學會理解立體幾何，等骨架立穩之後，再接入時間軸訓練動作，這樣大幅減少了動態生成時的形變崩潰。

其次是重構了網路底層，引入了一種把 3D 空間和時間特徵融在一起的 3D attention 機制。即使完全沒有額外的參考檢視，它也能在時間和空間兩個維度上互相拉扯對齊，保持連貫。

另外，雖然模型是在合成數據上完成的專項訓練，但它繼承了預訓練影片擴散模型裡的現實世界先驗，處理真實拍攝的物體時不容易失真。

不過它也並非完美無瑕。Stability AI 在公告裡直言，如果影片中的主體運動幅度過大、動作太劇烈，生成出來的多角度畫面依然可能出現區域性的破面和偽影。

為什麼重要

以往做動態 4D 資產，要麼依賴昂貴的多目相機捕捉陣列，要麼需要複雜的 Nerf 重建流程，門檻高得普通團隊根本碰不起。SV4D 2.0 把輸入條件壓縮到了極簡的一段單鏡頭影片，讓獨立開發者和小型 3D 工作室也能用低成本跑通動態資產生成。

更實在的是它的開源態度。Stability AI 依然採用了相對寬鬆的 Community License，商業和非商業用途全部放開。目前多視角生成模型的權重已經上架 Hugging Face，配套程式碼開源在 GitHub，4D 重建流程的技術細節也同步發在了 arXiv 論文裡。如果你正在做輕量級遊戲開發或者動態 3D 原型設計，現在就值得去拉下程式碼跑一跑自己的素材。