跳到正文
IFAI

开源项目

SegviGen:自动拆解 3D 模型部件,点选或给张图即可精准分割

首次发布 传播指数 48

SegviGen 开源了基于 TRELLIS.2 的 3D 部件分割框架。用户只需在模型上点选局部或上传 2D 参考图,就能自动把 3D 模型精准拆成独立零件。其交互分割性能比此前 SOTA 提升 40%,不过本地运行需要至少 24GB 显存的 Nvidia GPU。

SegviGen 是一个能把完整 3D 模型自动拆解成独立零件的开源框架。无论你是想给 3D 打印玩具拆件,还是在做游戏资产编辑与结构分析,它都能帮你把整块网格干净利落地切分成可以直接编辑的部件。

该项目基于微软开源的 3D 生成模型 TRELLIS.2 开发,核心逻辑不是从零训练一套复杂的几何分割网络,而是巧妙借用了原生 3D 生成模型内部原本就沉淀下来的结构与纹理先验。它在重建几何形状的同时预测区分部件的颜色,把原本繁重的分割任务变成了一个轻量级的表征重用过程。

它能做什么

SegviGen 在同一套架构下打通了三种实用分割模式。

第一种是交互式分割。你只需要在 3D 模型的某个部位点一下,它就能自动把这个零件完整提取出来。在 PartObjaverse-Tiny 和 PartNeXT 数据集上,它的单点交互 IoU@1 相比此前的 SOTA 方案 P3-SAM 提升了 40%。

第二种是全自动整体分割。无需任何额外提示,模型直接把整个 3D 模型的所有组件全部切开并着色,整体 IoU 相比以往基准提升了 15%。

第三种是 2D 参考图引导分割。你可以直接给它一张二维分割参考图,模型会按照图中指示的粒度,把三维模型精准切成对应的各个零件。

更亮眼的是数据效率。因为借力了生成模型本身的先验知识,SegviGen 只用了极少量的任务专属监督数据,甚至只用原先 0.32% 的训练数据就达到了上述效果。

怎么跑起来

SegviGen 目前已经在 GitHub 上以 MIT 协议开源了全部代码,预训练模型权重也同步放到了 Hugging Face 上。论文已被 SIGGRAPH 2026 Journal 接收,官方还提供了在线 Demo 供直接体验。

要在本地部署,你的环境需要是 Linux 系统和 Python 3.10,硬件门槛是必须有一块显存至少 24GB 的 Nvidia GPU。配置过程需要先拉取并安装 TRELLIS.2 的环境依赖,再通过 pip 安装 Blender、mathutils 等相关工具包。

本地推理非常直接,官方针对交互式分割、全分割以及 2D 参考图引导分割分别提供了现成的推理脚本,输入 glb 文件和对应坐标或参考图即可导出拆分好的 3D 结果。

为什么重要

3D 部件分割以往一直是件苦差事,手工拆件费时费力,传统算法又往往依赖大量标注数据而且切得不准。SegviGen 证明了原生 3D 生成模型肚子里其实已经藏着极其丰富的解剖学式结构认知,直接把生成先验拿来做几何拆解,不仅效果拔群,还把训练成本打到了地板上。

对于做 3D 打印手办拆件、游戏模型二创以及工业结构分析的开发者和创作者来说,它非常值得立刻上手一试。虽然 24GB 显存对个人轻薄本不算友好,但只要有张 RTX 3090、4090 或租个云端显卡,就能把过去数小时的体力活压缩成几秒钟的点击操作。

来源 (1)

  1. [1]

每日 AI 内容精选