Stability AI 釋出 Stable Video 4D：單段影片一鍵轉出 8 個新視角

Stable Video 4D（簡稱 SV4D）是一個能把單視角物體影片轉換成多視角影片的開源生成模型。你給它一段單個物體的普通影片，它就能從 8 個不同的相機角度，同時生成對應的視角影片。

生成出來的多視角畫面不僅能直接拿來看，還能作為素材，在 20 到 25 分鐘內進一步優化出這個物體完整的動態 3D 表徵，也就是行業裡常說的 4D 生成。

它能做什麼

使用方式非常直接。你上傳一段只包含單個物體的影片，並在輸入端指定想要的 3D 相機位姿。

在單次推理中，SV4D 大約需要 40 秒，就能生成跨越 8 個視角的 5 幀影片畫面。使用者可以根據創意需求自定義相機的觀察角度，得到全方位的視角覆蓋。

拿到這 8 個視角的連續動態影片後，演算法可以對物體的動態 3D 幾何與紋理進行快速最佳化，免去了傳統建模師一幀一幀擺姿勢貼材質的繁瑣流程。

怎麼做到的

SV4D 建立在 Stability AI 之前的 Stable Video Diffusion 基礎之上。上一代模型主要做影像轉影片，而 SV4D 是該團隊首個真正的影片到影片（Video-to-Video）模型。

以前做這類動態多視角生成，通常要把影像擴散模型、影片擴散模型和多視角擴散模型拼湊在一起取樣。這種方案不僅流程沉重，還要藉助複雜的得分蒸餾取樣（SDS），很容易在不同視角或不同時間幀裡出現畫面穿幫和撕裂。

SV4D 換了個思路，讓模型能夠一次性並行生成多個視角的新影片。這樣在模型內部就鎖定了空間軸和時間軸上的一致性，外觀不容易漂移，同時省掉了繁重的多模型 SDS 計算，把 4D 最佳化流程做得很輕量。

不過它目前也有明顯短板。模型當前處於研究階段，訓練資料主要來自合成數據集。如果你餵給它背景複雜的真實世界實拍影片，生成效果可能大打折扣。

目前 SV4D 的權重和技術報告都已經發布在 Hugging Face 上，感興趣的開發者可以直接去下載測試。

為什麼重要

對從事遊戲開發、影視特效和虛擬現實創作的團隊來說，SV4D 很值得關注。雖然目前單次只能輸出 5 幀短片段，還無法直接充當成品動畫，但它把單張影片轉化為動態 3D 資產的門檻大幅拉低了。

我們認為，這項技術最聰明的地方在於繞開了傳統多模型拼接導致的嚴重時空撕裂，用一體化多視角生成把最佳化時間壓縮到了半小時以內。在 3D 和 4D 資產自動化管線上，這一步邁得非常紮實。

當然，現階段它更像是一個面向研究者和極客的技術預覽版。受限於合成數據訓練和單物體輸入的設定，想要直接用在複雜的商業實拍中還不現實，但它給未來的動態 3D 內容生產指明瞭一條非常高效的路徑。