PhysX-Omni 发布:AI 生成 3D 资产补齐物理属性,直通机器人仿真
研究人员发布物理 3D 生成框架 PhysX-Omni,让 AI 生成的模型不仅外观逼真,还能具备可直接用于仿真的材质、运动学和可变形属性。最值得关注的是,它配套推出了通用物理数据集与评测基准,让生成的资产能直接接入具身智能与机器人训练。

过去一年里,AI 生成 3D 模型的速度快得惊人,几秒钟就能捏出一张椅子或一辆汽车。但如果你把这些资产扔进物理引擎,问题就暴露了:它们大多只是空心外壳,没有重量分布、没有真实材质,更别提能转动的关节,一碰就穿模乱飞。
研究团队发布了物理 3D 生成框架 PhysX-Omni。它的目标很明确,就是让 AI 生成的模型不仅外观逼真,还能具备真实物理特性,直接跑在仿真环境里。
让物体站得住也转得动
以往的 3D 生成方法通常直接忽略物理属性,或者只能应付单一类别,比如只做刚体、只做可变形物体,或者只做带有关节的铰接结构。
PhysX-Omni 试图打破这个限制。它做了一套统一框架,把刚体、软体和可动机构都纳入进来,让生成的资产天生具备仿真就绪的属性。
技术上的关键一步,是研究人员专门为视觉语言模型设计了一种高效几何表征。这种机制不需要对高分辨率 3D 结构做有损压缩,可以直接完成完整编码,从而大幅拉高了生成质量。
补上数据集和六维考试卷
除了生成框架本身,研究团队还拿出了两套配套基础设施。
第一套是通用仿真 3D 数据集 PhysXVerse,覆盖了室内和室外的各种常见类别,解决了过去物理资产训练数据极其匮乏的难题。
第二套是评估基准 PhysX-Bench。这套基准设立了六个关键维度,分别是几何形状、绝对尺寸、材质、功能可见性、运动学和功能描述,用来全面测试模型对物理世界的理解与生成能力。
实验结果显示,PhysX-Omni 在常规指标和 PhysX-Bench 上都表现强劲。论文中的追加实验还验证了它在可仿真场景生成以及机器人策略学习中的实用价值。
为什么重要
具身智能和机器人研发眼下最大的瓶颈之一,就是仿真环境里的高质量资产太少。真机训练成本高昂且容易损坏,工程师迫切需要在虚拟世界里让机器人练习成千上万次抓取和搬运。
如果 AI 只能生成没有质量、摩擦力和关节限制的空壳,机器人在虚拟世界里学到的技能就完全无法迁移到现实。PhysX-Omni 的出现,填补了生成模型与物理仿真之间的鸿沟。
我们认为,这项研究最聪明的地方在于它没有孤立地去跑分,而是把资产类型、高分辨率表征、数据集以及六维评测基准打包解决。这让具身智能团队看到了一条更廉价的数据合成路径。
不过目前它依然停留在论文与实验阶段,距离工业级游戏引擎或机器人开发管线的即插即用还有距离。但无论如何,AI 生成 3D 资产终于开始补上至关重要的物理课了。
来源 (1)
- arxiv.org(在新标签页打开)原文arxiv.org