跳到正文
IFAI

AIGC

World Labs 釋出商用世界模型 Marble:文本圖片生成可匯出 3D 場景

首次發布 傳播指數 51

李飛飛創辦的 World Labs 推出首款商用世界模型 Marble,支援把文本、圖片或影片轉為持久且可下載的 3D 環境。使用者可將場景匯出為網格或高斯潑濺格式。最值得關注的是它支援手動搭建空間粗胚再由 AI 填補細節,改變了純靠隨機生成的不可控問題。

World Labs 釋出商用世界模型 Marble:文本圖片生成可匯出 3D 場景
圖:techcrunch.com

如果說大語言模型教會了 AI 怎麼讀書寫字,那麼李飛飛現在想教 AI 學會看懂並構建三維現實。

由斯坦福大學教授李飛飛聯合創立的 World Labs,正式推出了旗下第一款商業化產品 Marble。這家在去年帶著 2.3 億美元融資走出隱形狀態的初創公司,把之前測試了兩個月的技術全面推向市場,任何人現在都可以註冊使用。

能直接匯出網格的世界模型

世界模型這個詞最近被聊得很多,像 Decart、Odyssey 乃至 Google 的 Genie,大家都在做。但 Marble 跟它們不太一樣,甚至也不同於 World Labs 自家的即時模型 RTFM。

很多同類產品是在你探索走動的時候,在後臺像播放即時生成的影片一樣動態渲染場景。那種做法最大的問題是容易形變,走兩步回頭,剛才的門可能就變樣了。

Marble 走的是另一條路。它生成的是一個固定的、持久存在的 3D 環境。你可以直接把做出來的世界匯出為高斯濺射檔案、3D 網格或者影片,甚至直接導進 Unreal Engine 或 Unity 等遊戲引擎裡。

輸入方式也放寬了。測試期只能傳單張圖片,AI 往往要硬猜背面長什麼樣。現在不僅支援文字、單張圖或全景圖,還能上傳多張多角度照片或一段短影片,讓它還原出更接近現實的數字孿生空間。

像寫網頁一樣把結構和風格分開

除了直接輸入文字或圖片讓 AI 自由發揮,Marble 這次還拿出了一個叫 Chisel 的實驗性 3D 編輯器。

聯合創始人 Justin Johnson 用 HTML 和 CSS 打了個比方。Chisel 允許你先用簡單的方塊、牆面和平面把空間的大致佈局擺出來,然後再用文字提示詞去指定視覺風格。想挪動沙發,直接在介面裡抓取代表沙發的方塊換個位置就行,不用像以前那樣反覆修改提示詞去碰運氣。

如果你覺得生成的場景太小,Marble 還允許你在場景邊緣做一次擴建,讓模型在破碎的邊界處補充更多細節。如果你想做一個特別宏大的空間,它還提供了一個組合模式,能把幾個不同風格的世界拼在一起。

當然,現在的限制依然很明顯。根據外媒上手體驗,生成的空間雖然精細,但基本上走幾步就會碰到看不見的邊界牆,無法無止境漫遊。邊緣處的渲染有時還是會變形,甚至同樣的提示詞,現在的生成結果並不一定比測試版時更符合預期。

在價格上,Marble 分了四個檔位。免費版每月可以生成 4 次,只支援文字、單圖和全景圖。要想用多圖輸入和高階編輯,需要購買每月 20 美元的標準版,含 12 次生成。想要商用授權和場景擴建,得買每月 35 美元的專業版,含 25 次生成。最貴的最高檔每月 95 美元,包含 75 次生成。

為什麼重要

我們認為,Marble 最大的價值在於它沒有跟著大模型廠商去卷無法編輯的影片流,而是老老實實做出了真正的 3D 資產。

過去一年裡,影片生成模型雖然驚豔,但對真正的遊戲開發者或特效師來說,一段不能拆解、機位受限的影片幾乎無法用於實際生產。Marble 生成的直接是網格和高斯點雲,能夠嵌入現有的 3D 製作管線。對於獨立開發者、小型遊戲團隊或影視前期概念設計師來說,這套工具非常值得現在就去試一試,用來快速搭建環境原型或找靈感能省下大量時間。

但它的商業門檻依然不低。一個月 95 美元卻只給 75 次生成,平均算下來單次生成的成本相當昂貴。以目前幾步就會撞牆的範圍限制,使用者試錯的代價很高。

在行業層面,遊戲開發者對生成式 AI 的態度正變得更加審慎。今年遊戲開發者大會的一項調查顯示,三分之一的受訪者認為生成式 AI 給遊戲行業帶來了負面影響,同比增加了 12%,大家普遍擔憂版權侵權、能耗和劣質內容氾濫。

World Labs 很聰明地把 Marble 定位為已有管線的輔助原料,而不是試圖取代遊戲引擎和開發人員。從技術路線上看,這種結構與風格解耦的思路是成立的。但要在概念驗證之外真正成為工業級生產力工具,它下一步必須證明自己生成的網格資產具備足夠的拓撲規範度,且能支援更大規模、更高密度的物理互動。

來源 (3)

  1. [1]
    techcrunch.com(在新分頁開啟)原文techcrunch.com
  2. [2]
    worldlabs.ai(在新分頁開啟)報導worldlabs.ai
  3. [3]
    theverge.com(在新分頁開啟)報導theverge.com

每日 AI 內容精選