跳到正文
IFAI

開源專案

Stability AI 釋出 Stable Video 3D:一張圖生成 3D 網格與環繞影片

首次發布 傳播指數 47

Stability AI 推出 3D 生成模型 Stable Video 3D(SV3D),能從單張圖片生成多視角環繞影片並重建 3D 網格。模型顯著提升了視角一致性,提供自動環繞與指定軌跡兩個版本。非商業權重已在 Hugging Face 開源,商用需開通會員。

Stability AI 釋出 Stable Video 3D:一張圖生成 3D 網格與環繞影片
圖:stability.ai

Stable Video 3D(簡稱 SV3D)是一個能把單張二維物體圖片直接變成多視角環繞影片、甚至完整 3D 網格的模型。它由 Stability AI 基於影片生成底座改造而來,專門解決以往單圖生成 3D 時視角容易變形、畫面不連貫的毛病。

它能做什麼

你只需要給它一張物體的靜態圖片,SV3D 就能自動推斷出該物體在其他角度的長相,並輸出一段平滑的環繞觀察影片。

模型這次提供了兩個版本。基礎版 SV3D_u 適合無腦上手,直接輸入單張圖,它會自動生成一段標準的環形軌道繞拍影片,不需要輸入任何相機引數。

另一個進階版 SV3D_p 則具備更強的機位控制能力。它不僅接收單張圖,還能由使用者指定相機運鏡軌跡,生成沿著特定攝影機路徑移動的 3D 影片。

更關鍵的是,SV3D 的輸出不只是多張圖片或影片,它還能配合 3D 最佳化管線,直接輸出高質量的神經輻射場(NeRF)和可用於渲染引擎的 3D 網格模型。

它是怎麼做到的

以往像 Stable Zero123 這樣的工具,本質上是靠靜態影像擴散模型去強猜其他視角,經常出現換個角度物體結構就對不上的情況。

SV3D 換了個聰明思路:改用影片擴散模型 Stable Video Diffusion 作為基礎,並引入相機軌跡條件控制。影片模型本身就掌握時間上的畫面連續性,搬到空間多視角上,自然擁有了極高的一致性和泛化能力。

在生成 3D 網格時,團隊設計了掩碼分數蒸餾取樣(masked SDS)損失函式,專門修補那些視野盲區裡的盲點與幾何破損。

為了避免現實光影干擾,它還引入瞭解耦光照模型,把環境光照與物體原本的幾何形狀、紋理分開最佳化,防止原圖裡的陰影和高光被「烘死」在 3D 貼圖上。官方測試顯示,SV3D 的輸出質量明顯好於 Stable Zero123、Zero123-XL 以及 EscherNet。

開放程度與門檻

程式碼與權重已經上線。非商業研究用途的使用者可以直接在 Hugging Face 下載模型權重,並查閱配套的技術研究報告。

如果你想把它整合到商業專案或商用管線中,則需要訂閱 Stability AI 的商業會員(Membership)。

硬體方面,跑這類影片擴散與 3D 最佳化模型通常需要視訊記憶體充裕的桌面或雲端 GPU,算力門檻比跑普通文生圖高出不少。

為什麼重要

我們認為,SV3D 代表了 3D 內容生成管線的一次重要拐點:用影片生成大模型來給 3D 建模當「空間理解底座」。這避開了單張圖拼湊視角的彆扭做法,對獨立遊戲開發者、電商 3D 展示和影視前期概念設計來說,極大地降低了原型資產的製作成本。

不過也需要看到,模型目前的核心優勢仍然集中在孤立物體的多視角重建上,面對複雜多物體構圖或超精細工業級網格,依然需要人工二次拓撲與修整。

來源 (1)

  1. [1]
    stability.ai(在新分頁開啟)原文stability.ai

話題追蹤Stability AI 的 3D 生成模型開發

這個話題的歷次新聞,最新的在上面。

  1. Stability AI 釋出 Stable Video 3D:一張圖生成 3D 網格與環繞影片本則
  2. Stability AI 聯手 Tripo 開源 TripoSR:單圖生 3D 不到半秒,無 GPU 也能跑
  3. Stability AI 釋出 Stable Zero123:單圖生成 3D 模型
  4. Stability AI 開啟 Stable 3D 預覽:幾分鐘把文字和圖片做成 3D 模型

每日 AI 內容精選