跳到正文
IFAI

AI科研

多校聯合推出 3D-GPT:輸入一句話,多智慧體聯動生成 3D 世界

首次發布 傳播指數 31

來自澳大利亞國立大學、牛津大學和北京智源人工智慧研究院的研究團隊釋出了 3D-GPT 系統。它將任務拆解給任務排程、概念化及建模等多個 AI 智慧體,直接生成程式碼驅動 Blender 等軟體完成 3D 建模。雖然畫面尚未達到擬真級別,但有效簡化了繁瑣的傳統建模流程。

圖:venturebeat.com

想做一個 3D 場景,以往你得在 Blender 裡面對著成百上千個按鈕、節點和指令碼死磕幾個小時。如果現在只要輸入一句「薄霧繚繞的春晨,草地上綴滿帶著露珠的花朵」,AI 就能替你把整個三維世界搭建出來呢?

來自澳大利亞國立大學、牛津大學和北京智源人工智慧研究院的研究人員,在 arXiv 上發表了一項新研究,推出了名為 3D-GPT 的系統。它能直接把自然語言指令,轉化成完整的 3D 場景。

讓幾個 AI 智慧體組隊打工

3D-GPT 最有意思的地方,在於它沒有嘗試硬靠一個大模型直接生成 3D 點雲或網格檔案,而是把任務拆解開,找了幾個專門的 AI 智慧體來分工協作。

第一個是任務排程智慧體,負責聽懂使用者的要求,把整個建模流程拆成可執行的小步驟。

第二個是概念化智慧體。很多人寫提示詞都很簡短,這個智慧體就像一個經驗豐富的場景設計師,負責把空缺的細節補齊,並且根據你的後續修改動態調整畫面描述。

第三個是建模智慧體。它負責具體幹活,把概念翻譯成引數,直接寫出控制 Blender 等成熟三維軟體的程式碼。

在實驗中,研究團隊給它輸入了一句詩意描摹:薄霧繚繞的春晨,露珠點綴的花朵散落在嫩芽初綻的樹木環繞的草地上。3D-GPT 最終在軟體裡生成了包含植被、地形和光影的完整三維場景,準確對應了提示詞裡的元素。

研究團隊也坦承,目前的畫面精細度還沒有達到照片級寫實的效果,但整個框架已經跑通了。

為什麼重要

我們認為,3D-GPT 走了一條非常聰明的務實路線。

很多做 3D 生成的模型總想端到端一步到位,直接生成不可編輯的網格或紋理,結果往往是模型內部糊成一團,專業美術師拿到手根本沒法改。而 3D-GPT 的落腳點是生成程式碼去驅動 Blender,這意味著生成出來的每一個資產、每一組引數都是結構化的,人類設計師完全可以在這個基礎上接管後續的調整。

對遊戲獨立開發者、影視前期概念師或者 VR 創作者來說,雖然現在還不能拿它直接做最終交付的 AAA 級資產,但用來快速搭白模、做場景原型,能省下大量機械勞動。

它對行業更大的啟發在於模組化設計。文字理解、細節補充和程式碼生成由不同智慧體承擔,後續任何一個環節有更強的新模型出現,都可以隨時單獨替換升級,而不必推翻重來。

不過隱患也很明顯,它目前的表現高度依賴底層程式化資產庫和 Blender 的介面能力。如果資產庫裡沒有對應的物料程式碼,AI 也很難憑空捏出精細的奇幻生物或複雜機械。但無論如何,用自然語言指揮專業工業軟體的這扇門,已經被推開了一條縫。

來源 (1)

  1. [1]
    venturebeat.com(在新分頁開啟)原文venturebeat.com

每日 AI 內容精選