研究人員推出智慧體 VIGA:給一張圖,直接在 Blender 裡重建成 3D 場景
研究團隊推出多模態智慧體 VIGA,能把單張二維影像重構成 Blender 裡可完全編輯的 3D 場景程式。它通過交替多模態推理與上下文記憶,既能用幾何圖元從零搭場景,也能呼叫現有 3D 工具。基準測試顯示,其在 BlenderBench 上的綜合表現相比基線提升超 124%。
VIGA 是一個能用 Blender 圖形引擎邊思考邊建模的多模態智慧體。丟給它一張普通的 2D 照片,它就能把畫面翻譯成程式碼,在 Blender 裡面重建出一整套可以繼續編輯、調整物理屬性和互動的 3D 場景程式。
它能做什麼
它和普通的 3D 生成模型不太一樣。很多工具直接生成不可編輯的點雲或網格,而 VIGA 生成的是程式化場景。
在 Blender 裡,它可以直接從最基本的幾何圖元開始搭積木,比如用引數化的立方體和球體從零拼出場景。如果需要更精緻的模型,它也能直接呼叫 Meshy 或 SAM-3D 這類現成的 3D 資產生成工具,把現成模型當成起點,再去搭建物理場景。
除了 3D 建模,研究團隊還發現它能拓展到其他程式化創作任務上,比如自動生成 2D 簡報(幻燈片設計)。
怎麼做到的
VIGA 的核心是「分析-合成迴圈」(analysis-by-synthesis loop)。簡單來說,它不是一次性把模型猜出來,而是寫一段程式碼渲染一下,看一眼渲染結果,再根據差距繼續修改。
為了做到這一點,它採用了交替多模態推理機制,並配上了一套動態演化的上下文記憶。這個記憶庫能讓模型記住之前的嘗試和修改歷史,從而像人類開發者一樣不斷除錯場景、調整材質和物理碰撞。
在效能測試中,團隊構建了一個包含 30 個任務的基準測試 BlenderBench,覆蓋視角調整、多步編輯和組合編輯。測試顯示,配合 GPT-4o 或 Qwen3-VL-8B 作為底座,VIGA 比單次直接生成的基準表現平均提升了 124.70%。
即便和沒有上下文記憶的同構變體 BlenderAlchemy 相比,VIGA 的優勢也很明顯。在現有的單步圖形編輯基準 BlenderGym 上,它也在幾何、光照、材質和擺放等維度上取得了 35.32% 的綜合提升。
怎麼上手與現狀
目前研究團隊在專案主頁上展示了詳細的研究成果和演示案例,論文已經上線 arXiv(編號 2601.11109)。
底座模型方面,它支援結合 GPT-4o 或開源的 Qwen3-VL-8B 執行。不過目前官方主要公開了論文、基準測試和技術原理展示,想要在本地一鍵執行完整流程的使用者,還需要關注主頁的後續程式碼更新。
為什麼重要
對於 3D 創作者和遊戲開發者來說,可編輯性才是 3D 生成的核心痛點。以往很多「一鍵生成 3D」給出的都是難以細改的封閉網格,而 VIGA 證明了讓大模型直接操控成熟的圖形引擎、通過程式碼逐步搭場景是完全可行的。
我們認為,這種把 Blender 本身當成推理工具和沙盒的做法非常聰明。它避開了純視覺語言模型在空間直覺上的短板,把生成轉化成了「寫程式碼-渲染-糾錯」的工程問題。如果你平時頻繁使用 Blender,或者正在探索 AI 輔助場景搭建,這個專案的架構思路非常值得持續跟進。
來源 (1)
- fugtemypt123.github.io(在新分頁開啟)原文fugtemypt123.github.io