Articraft 開源:讓 AI 寫程式碼生成能動的 3D 資產,帶關節還自帶測試
研究團隊開源帶關節 3D 資產生成系統 Articraft 及超 1 萬個資產的資料集。它把 3D 建模轉化成程式設計問題,由 AI 智慧體寫程式碼定義部件與鉸鏈關節,並自動執行測試。生成結果能真正活動,大幅降低了機器人模擬和 VR 資產的製作門檻。

過去一年裡,市面上的文生 3D 工具已經多到數不過來。你給一句提示詞,幾秒鐘就能吐出一個花瓶、一輛賽車或者一隻怪獸。但如果你想把這些模型丟進遊戲引擎或者機器人模擬軟體裡,就會立刻遇到一個尷尬的坎:它們全是實心的一坨死網格,既沒有可活動的關節,部件之間也拆不開。
現實世界裡的東西可不是這麼長的。檯燈得能摺疊,抽屜得能拉開,機械鍵盤的每個軸體都得能按下去。要教機械臂學會擰瓶蓋或者拉開櫃門,機器人研究者長期以來都得手動去綁骨架、配關節引數。5 月 14 日,研究團隊開源了帶關節 3D 資產生成系統 Articraft,試圖徹底換一種思路解決這個問題。
不畫 3D 網格,直接讓 AI 寫程式碼拼裝
Articraft 最聰明的一點,是它壓根沒讓模型去直接預測複雜的 3D 空間座標或者多邊形網格。它把生成可動 3D 物體這門手藝,直接轉化成了一個寫程式碼的任務。
具體來說,系統內部跑著一個專門的 AI 程式設計智慧體。這個智慧體並不挑底座模型,不管你是掛接 GPT-5.5、Gemini 還是 Claude 都能跑。它要做的事情,是在一個受限的工作區裡,呼叫專門定製的領域專用 SDK 去寫一段構建程式的程式碼。
這段程式碼會詳細定義每個獨立部件的幾何形狀、安裝位置,以及部件與部件之間的連線方式,比如鉸鏈、滑軌或者旋轉輪軸。大模型不需要親自去折騰複雜的 URDF 機器人描述檔案或者環境配置,只專注於把物理邏輯和結構理順。
寫完程式碼還沒完,智慧體還會順手寫一組測試指令碼來檢查這個物體合不合常理。執行環境會自動跑這些測試,把結構驗證和報錯資訊打包反饋給大模型,讓它自己修程式碼,直到整個物體能夠真實活動而且沒有穿模邏輯錯誤。
從目前展示的案例來看,輸入一段簡單提示詞,Articraft 就能做出帶矩形底座的摺疊檯燈、緊湊型機械聯動的三連桿鏈條,甚至按鍵獨立的機械鍵盤和結構複雜的噴氣發動機。
一萬多個可動物體,程式碼和資料全放出來了
除了這套生成系統本身,團隊還同步放出了一個名叫 Articraft-10K 的資料集。
這個資料集包含了超過 1 萬個帶關節結構的可工作 3D 資產,一口氣覆蓋了 245 個類別。裡面不僅有日常家居用品和傢俱,還有大量的機械裝置、工具以及家用電器。
論文指出,相比目前最先進的同類關節資產生成器以及通用的程式碼生成智慧體,Articraft 跑出來的資產質量和結構合理性都要更高。目前系統的程式碼和本地執行指南已經在主頁公開,任何人都可以拉到本地跑起來試試。
為什麼重要
在生成式 AI 領域,死模型從來不是終點,能和物理規則互動的可動實體才是真正的剛需。我們認為,Articraft 的做法之所以亮眼,是因為它避開了傳統 3D 擴散模型在精密機械結構上的天然硬傷。
擴散模型擅長創造外觀和紋理,但讓它去理解軸承公差、旋轉軸約束和運動鏈,往往只能得到一堆粘連在一起的畸形幾何體。Articraft 借道大模型的程式設計與邏輯推理能力,用程式碼這種嚴謹的形式去描述機械運動,等於給 AI 搭建了一個自帶物理常識的腳手架。
對於機器人模擬和虛擬現實開發者來說,這一步的價值是立竿見影的。具身智慧眼下最大的痛點之一,就是缺乏大量多樣化、帶真實物理互動邏輯的三維訓練場景。如果只要輸入一句話就能源源不斷生成帶有完整運動機構的 3D 資產,機械臂虛擬訓練的資料荒就能得到極大的緩解。
不過,這種完全依賴程式碼拼裝幾何體的路線也有侷限。對於機械感強、由規則幾何構成的工業品,程式碼描述非常高效精確;但如果遇到複雜的有機生物形態或者極其細膩的藝術曲面,純靠程式碼定義引數就顯得笨拙了。未來更理想的形態,或許是把這種基於程式碼的運動機構定義,與傳統擴散模型的精細網格雕刻結合起來。
來源 (1)
- arxiv.org(在新分頁開啟)原文arxiv.org