跳到正文
IFAI

AI科研

PhysForge 亮相:生成带关节与物理特性的 3D 资产,仿真器直接能用

首次发布 传播指数 36

研究团队发布 3D 生成框架 PhysForge,让生成的 3D 物体不仅好看,还自带关节、材质与运动逻辑。系统先由视觉语言模型规划物理蓝图,再由扩散模型生成带运动学参数的资产。这意味着机器人仿真和游戏开发者无需手动绑定骨骼,就能直接拿去交互与训练。

PhysForge 亮相:生成带关节与物理特性的 3D 资产,仿真器直接能用
图:arxiv.org

现在的 3D 生成模型已经能又快又好地捏出一个茶壶、一把椅子或一辆跑车,但把它们拖进游戏引擎或者机器人仿真器里,问题就来了:它们就像一块实心塑料,没有可活动的关节,不知道哪个部件能拉开,更别提受力时的物理反馈。

做具身智能或者虚拟世界的人,大部分时间其实都在给这些静态模型手动拆零件、绑骨骼、标质量。现在,这个又慢又磨人的流程可能要变了。

研究团队发布了一套名为 PhysForge 的 3D 生成框架。它不再只关心模型长得漂不漂亮,而是直接生成物理上有依据、能真正动起来的 3D 资产。

先让 AI 当架构师,再让扩散模型干活

传统的 3D 模型生成是一步到位画几何,但物理属性非常讲究因果和层级结构。PhysForge 索性把工作拆成了两个阶段。

第一阶段,由一个视觉语言模型充当「物理架构师」。看到输入的物体后,它先在脑子里拆解出层级物理蓝图,定好这个物体由几个部件组成、每个部件的包围盒位置、关节类型、摩擦力与材料,以及各自的质量分布。

到了第二阶段,专门设计的物理扩散模型才进场施工。它接收这张蓝图,通过一种叫做 KineVoxel Injection 的机制,把运动学约束直接注入到几何形体生成的过程中。

为了训练这一套系统,团队还构建了一个名为 PhysDB 的大规模数据集,里面包含 15 万个资产,每个资产都带有四层深度的物理标注。

最后出来的 3D 资产不仅带有高精度的外观和纹理,还完整附带了运动学参数。丢进仿真器后,机械臂能清楚知道从哪里发力可以拧开把手,抽屉也能按预设滑轨平稳拉出。

为什么重要

我们认为,PhysForge 最聪明的地方在于把物理先验从纯视觉生成里拆了出来。

过去大家试图用一个大模型同时搞定外观与物理,结果往往是两头不讨好:要么外观塌陷,要么动起来穿模。让大语言模型先按现实常识规划物理规则,再让扩散模型补全像素和网格,逻辑上清晰得多。

对于机器人领域的开发者来说,这相当于拿到了一座随时可调用的合成数据工厂。以往训练具身智能体抓取各种日常器具,最大的瓶颈就是缺带有交互逻辑的仿真环境,PhysForge 能大幅降低搭建训练场景的时间成本。

不过,目前的局限也显而易见。15 万资产的规模对于覆盖现实世界所有奇形怪状的机械结构来说依然有限,如果遇到复杂的复合机构或者柔性材质,蓝图规划的准确率还有待检验。但无论如何,把 3D 生成从「好看的皮囊」推向「能用的身体」,这一步的方向完全走对了。

来源 (1)

  1. [1]

每日 AI 内容精选