跳到正文
IFAI

AIGC

Spline 推出 3D 世界模型 Spell:單張圖幾分鐘生成 3D 場景

首次發布 傳播指數 39

3D 協作平臺 Spline 推出 AI 模型 Spell。它能在幾分鐘內把單張圖片變成完整的 3D 場景,輸出支援高斯潑濺或 NeRF 渲染的體素體積。模型注重物理一致性,鏡頭穿入牆體時會模擬真實碰撞而非畫面融變變質。

Spline 推出 3D 世界模型 Spell:單張圖幾分鐘生成 3D 場景
圖:blog.spline.design

過去給一張圖生成 3D 模型,出來的往往是一個只能轉著看的小擺件,背景全靠腦補。3D 設計工具 Spline 最近拿出了一個叫 Spell 的新模型,想要徹底解決這件事。

簡單來說,Spell 不是用來捏單個物體的,它是一個「3D 世界模型」。輸入一張普通的靜態二維圖片,幾分鐘之內,它就能補全出一整個具備完整體積的 3D 場景,涵蓋人物、物體、3D 角色以及周邊環境。

穿幫時寧可穿模,也不瞎變形

Spell 底層是一套擴散模型,核心賣點是多視角的物理一致性。

做 3D 生成最怕運鏡。以前不少 AI 影片在鏡頭穿過障礙物時,牆壁會莫名其妙扭曲成一團黏糊糊的怪東西。Spline 團隊強調,Spell 會模擬真實的物理材質特性,包括光線反射、折射、表面粗糙度以及景深。

更有意思的是相機的穿透邏輯。如果運鏡時不小心讓鏡頭懟進了牆壁裡,模型會計算真實的相機與物體相交切割,而不是為了畫面順暢去偷偷形變或熔解物體。這種堅持物理真實的取向,讓生成的場景看起來更像個真實世界。

輸出形態也很靈活。Spell 生成的內容可以直接匯出為影片、連續圖片序列,或者是當下熱門的 3D Gaussian Splatting(高斯潑濺)體積檔案。使用者後續還可以用常規的三維重建演算法,把它轉成傳統工作流裡最通用的網格面(Mesh)。

訓練資料方面,Spline 走了一條相當剋制的路線。他們沒有碰任何 Spline 平臺使用者的私人設計,而是靠團隊自己在世界多國長期實地採集的真實影像,加上內部渲染管線合成的 3D 資料,以及商業授權的市場模型混合訓練而成。

為什麼重要

我們認為,Spell 最聰明的地方在於把生成結果直接對準了 Gaussian Splatting 和可編輯資產,而不是隻給創作者畫一張好看但不能用的全景圖。

對獨立遊戲開發者、空間計算設計師和視覺藝術家來說,在概念設計階段搭環境一直是最耗時的苦活。如果能把一張概念草圖幾分鐘轉化成帶景深、可運鏡的 3D 體積資產,前期的灰模搭建成本會被直接打下來一大截。當然,目前它還是第一代模型,官方自己也承認質量和細節一致性有待打磨,現在拿來做最終資產交付還不現實,但用來做場景預演和分鏡實驗已經很值得一試。

在行業層面,這標誌著 3D 生成從「單體資產生成」正式邁向了「空間世界生成」。以往 Runway、Pika 解決的是 2D 畫面的動態化,而 Spline 試圖從一開始就讓 AI 理解真正的三維空間關係。只要它能頻繁迭代並無縫嵌入 Spline 原有的網頁端即時編輯器裡,傳統的 3D 生產管線可能很快就會迎來一場徹底的重構。

來源 (1)

  1. [1]
    blog.spline.design(在新分頁開啟)原文blog.spline.design

每日 AI 內容精選