跳到正文
IFAI

開源專案

SegviGen:自動拆解 3D 模型部件,點選或給張圖即可精準分割

首次發布 傳播指數 48

SegviGen 開源了基於 TRELLIS.2 的 3D 部件分割框架。使用者只需在模型上點選區域性或上傳 2D 參考圖,就能自動把 3D 模型精準拆成獨立零件。其互動分割效能比此前 SOTA 提升 40%,不過本地執行需要至少 24GB 視訊記憶體的 Nvidia GPU。

SegviGen 是一個能把完整 3D 模型自動拆解成獨立零件的開源框架。無論你是想給 3D 列印玩具拆件,還是在做遊戲資產編輯與結構分析,它都能幫你把整塊網格乾淨利落地切分成可以直接編輯的部件。

該專案基於微軟開源的 3D 生成模型 TRELLIS.2 開發,核心邏輯不是從零訓練一套複雜的幾何分割網路,而是巧妙借用了原生 3D 生成模型內部原本就沉澱下來的結構與紋理先驗。它在重建幾何形狀的同時預測區分部件的顏色,把原本繁重的分割任務變成了一個輕量級的表徵重用過程。

它能做什麼

SegviGen 在同一套架構下打通了三種實用分割模式。

第一種是互動式分割。你只需要在 3D 模型的某個部位點一下,它就能自動把這個零件完整提取出來。在 PartObjaverse-Tiny 和 PartNeXT 資料集上,它的單點互動 IoU@1 相比此前的 SOTA 方案 P3-SAM 提升了 40%。

第二種是全自動整體分割。無需任何額外提示,模型直接把整個 3D 模型的所有元件全部切開並著色,整體 IoU 相比以往基準提升了 15%。

第三種是 2D 參考圖引導分割。你可以直接給它一張二維分割參考圖,模型會按照圖中指示的粒度,把三維模型精準切成對應的各個零件。

更亮眼的是資料效率。因為借力了生成模型本身的先驗知識,SegviGen 只用了極少量的任務專屬監督資料,甚至只用原先 0.32% 的訓練資料就達到了上述效果。

怎麼跑起來

SegviGen 目前已經在 GitHub 上以 MIT 協議開源了全部程式碼,預訓練模型權重也同步放到了 Hugging Face 上。論文已被 SIGGRAPH 2026 Journal 接收,官方還提供了線上 Demo 供直接體驗。

要在本地部署,你的環境需要是 Linux 系統和 Python 3.10,硬體門檻是必須有一塊視訊記憶體至少 24GB 的 Nvidia GPU。配置過程需要先拉取並安裝 TRELLIS.2 的環境依賴,再通過 pip 安裝 Blender、mathutils 等相關工具包。

本地推理非常直接,官方針對互動式分割、全分割以及 2D 參考圖引導分割分別提供了現成的推理指令碼,輸入 glb 檔案和對應座標或參考圖即可匯出拆分好的 3D 結果。

為什麼重要

3D 部件分割以往一直是件苦差事,手工拆件費時費力,傳統演算法又往往依賴大量標註資料而且切得不準。SegviGen 證明了原生 3D 生成模型肚子裡其實已經藏著極其豐富的解剖學式結構認知,直接把生成先驗拿來做幾何拆解,不僅效果拔群,還把訓練成本打到了地板上。

對於做 3D 列印手辦拆件、遊戲模型二創以及工業結構分析的開發者和創作者來說,它非常值得立刻上手一試。雖然 24GB 視訊記憶體對個人輕薄本不算友好,但只要有張 RTX 3090、4090 或租個雲端顯示卡,就能把過去數小時的體力活壓縮成幾秒鐘的點選操作。

來源 (1)

  1. [1]

每日 AI 內容精選