跳到正文
IFAI

AIGC

Stability AI 推出 SPAR3D:單張圖片 0.7 秒生成 3D 模型

首次發布 傳播指數 41

Stability AI 聯手 NVIDIA 在 CES 上推出 3D 生成模型 SPAR3D。它能從單張圖片在 0.7 秒內生成完整 3D 網格,並支援在 0.3 秒內對點雲進行即時修改。最值得關注的是,權重和程式碼已開源,並適用於 RTX AI PC 端側執行。

Stability AI 推出 SPAR3D:單張圖片 0.7 秒生成 3D 模型
圖:stability.ai

SPAR3D(Stable Point Aware 3D)是一個能把單張 2D 圖片直接變成 3D 資產的開源模型。從一張圖片輸入到生成完整的 3D 網格,整個過程只需要 0.7 秒;如果你對結構不滿意,還能在點雲層直接動手編輯,模型重新生成網格只要 0.3 秒。

這是 Stability AI 聯手 NVIDIA 在 CES 上釋出的新成果,專門針對遊戲開發、產品設計和場景建模等快速原型製作場景。

它能做什麼

大多數影像轉 3D 工具最大的痛點是慢,而且背面往往是一團糊或者完全失真。SPAR3D 主打完整結構預測,即便輸入的圖片只展示了正面,它也能推測出背面等遮擋區域的幾何形狀,輸出完整的 360 度細節。

另一個關鍵能力是可控編輯。模型生成的不是不可修改的黑盒網格,而是允許使用者直接在點雲層面操作。你可以直接刪除、複製、拉伸點,或者新增新特徵並重新著色。修改完成後,系統能在 0.3 秒內把調整後的點雲實時烘焙回新的 3D 網格。

怎麼做到的

SPAR3D 採用了一套兩階段架構,把迴歸建模的精度和生成式技術的靈活性結合在一起。

第一階段由專門的點擴散模型(point diffusion model)負責,先根據輸入圖片快速構建物體的基礎結構點雲。

第二階段交給三平面變換器(triplane transformer)。它將這個點雲與原始影像的特徵結合,生成高解析度的三平面資料,最終重建出帶有精確幾何、紋理和光照的高質量網格。

怎麼跑起來與授權方式

SPAR3D 針對 NVIDIA RTX AI PC 做了端側最佳化,這意味著個人開發者在本地電腦上就能跑起這套工作流。

目前模型的權重已經在 Hugging Face 上線,推理程式碼開源在 GitHub,開發者也可以直接通過 Stability AI 官方 API 呼叫。

授權方面,它採用了 Stability AI Community License,非商用和商用均免費開放。只有年營收超過 100 萬美元的企業,才需要聯絡官方購買企業授權。

為什麼重要

在此之前,3D 資產生成要麼需要數分鐘的漫長等待,要麼生成的模型千奇百怪、無法手動干預。SPAR3D 把生成時間壓縮到 1 秒以內,同時還開放了點雲級別的即時修改介面,這對獨立遊戲開發者和 3D 設計師來說非常划算,原型打樣成本幾乎降到了零。

不過,它生成的網格精度和紋理複雜度依然受限於單圖輸入的資訊量,指望它直接替代工業級的高模雕刻還不現實。但如果你需要的是極速概念驗證或遊戲低模原型,它非常值得現在就拉到本地跑一跑。

來源 (1)

  1. [1]
    stability.ai(在新分頁開啟)原文stability.ai

每日 AI 內容精選