Articraft 开源:让 AI 写代码生成能动的 3D 资产,带关节还自带测试
研究团队开源带关节 3D 资产生成系统 Articraft 及超 1 万个资产的数据集。它把 3D 建模转化成编程问题,由 AI 智能体写代码定义部件与铰链关节,并自动运行测试。生成结果能真正活动,大幅降低了机器人仿真和 VR 资产的制作门槛。

过去一年里,市面上的文生 3D 工具已经多到数不过来。你给一句提示词,几秒钟就能吐出一个花瓶、一辆赛车或者一只怪兽。但如果你想把这些模型丢进游戏引擎或者机器人仿真软件里,就会立刻遇到一个尴尬的坎:它们全是实心的一坨死网格,既没有可活动的关节,部件之间也拆不开。
现实世界里的东西可不是这么长的。台灯得能折叠,抽屉得能拉开,机械键盘的每个轴体都得能按下去。要教机械臂学会拧瓶盖或者拉开柜门,机器人研究者长期以来都得手动去绑骨架、配关节参数。5 月 14 日,研究团队开源了带关节 3D 资产生成系统 Articraft,试图彻底换一种思路解决这个问题。
不画 3D 网格,直接让 AI 写代码拼装
Articraft 最聪明的一点,是它压根没让模型去直接预测复杂的 3D 空间坐标或者多边形网格。它把生成可动 3D 物体这门手艺,直接转化成了一个写代码的任务。
具体来说,系统内部跑着一个专门的 AI 编程智能体。这个智能体并不挑底座模型,不管你是挂接 GPT-5.5、Gemini 还是 Claude 都能跑。它要做的事情,是在一个受限的工作区里,调用专门定制的领域专用 SDK 去写一段构建程序的代码。
这段代码会详细定义每个独立部件的几何形状、安装位置,以及部件与部件之间的连接方式,比如铰链、滑轨或者旋转轮轴。大模型不需要亲自去折腾复杂的 URDF 机器人描述文件或者环境配置,只专注于把物理逻辑和结构理顺。
写完代码还没完,智能体还会顺手写一组测试脚本来检查这个物体合不合常理。运行环境会自动跑这些测试,把结构验证和报错信息打包反馈给大模型,让它自己修代码,直到整个物体能够真实活动而且没有穿模逻辑错误。
从目前展示的案例来看,输入一段简单提示词,Articraft 就能做出带矩形底座的折叠台灯、紧凑型机械联动的三连杆链条,甚至按键独立的机械键盘和结构复杂的喷气发动机。
一万多个可动物体,代码和数据全放出来了
除了这套生成系统本身,团队还同步放出了一个名叫 Articraft-10K 的数据集。
这个数据集包含了超过 1 万个带关节结构的可工作 3D 资产,一口气覆盖了 245 个类别。里面不仅有日常家居用品和家具,还有大量的机械装置、工具以及家用电器。
论文指出,相比目前最先进的同类关节资产生成器以及通用的代码生成智能体,Articraft 跑出来的资产质量和结构合理性都要更高。目前系统的代码和本地运行指南已经在主页公开,任何人都可以拉到本地跑起来试试。
为什么重要
在生成式 AI 领域,死模型从来不是终点,能和物理规则交互的可动实体才是真正的刚需。我们认为,Articraft 的做法之所以亮眼,是因为它避开了传统 3D 扩散模型在精密机械结构上的天然硬伤。
扩散模型擅长创造外观和纹理,但让它去理解轴承公差、旋转轴约束和运动链,往往只能得到一堆粘连在一起的畸形几何体。Articraft 借道大模型的编程与逻辑推理能力,用代码这种严谨的形式去描述机械运动,等于给 AI 搭建了一个自带物理常识的脚手架。
对于机器人仿真和虚拟现实开发者来说,这一步的价值是立竿见影的。具身智能眼下最大的痛点之一,就是缺乏大量多样化、带真实物理交互逻辑的三维训练场景。如果只要输入一句话就能源源不断生成带有完整运动机构的 3D 资产,机械臂虚拟训练的数据荒就能得到极大的缓解。
不过,这种完全依赖代码拼装几何体的路线也有局限。对于机械感强、由规则几何构成的工业品,代码描述非常高效精确;但如果遇到复杂的有机生物形态或者极其细腻的艺术曲面,纯靠代码定义参数就显得笨拙了。未来更理想的形态,或许是把这种基于代码的运动机构定义,与传统扩散模型的精细网格雕刻结合起来。
来源 (1)
- arxiv.org(在新标签页打开)原文arxiv.org