Nvidia 推出机器人套件：戴上 Apple Vision Pro 就能遥控人型机器人

戴上 Apple Vision Pro 刷网页或看电影已经不算新鲜事，但英伟达现在给它找了个硬核得多的新用途：当人形机器人的遥控器。

英伟达推出了一套专门面向人形机器人的开发工具与微服务，让开发者不仅能通过 Apple Vision Pro 实时监看机器人视角，还能直接用自己的双手远程控制机器人的手和手臂。

英伟达 CEO 黄仁勋直言，AI 的下一波浪潮就是机器人，其中最让人兴奋的就是人形机器人。

戴着头显做动作，AI 负责猜你想干嘛

很多人以为用头显操控机器人，无非就是让机器人的摄像头跟着人头转。但英伟达这次拿出来的远不止这些。

在这套遥操作工作流里，Apple Vision Pro 的传感器会精准捕捉操作人员的手势与动作细节。不仅能看到机器人眼前的一切，还能直接用手势驱动机械臂做出相应动作。

不过，完全一比一复刻人类的动作其实很危险。因为操作者戴着头显抓取物体时，手里并没有真实的触觉反馈，生硬模仿很容易用力过猛捏碎东西。

英伟达的做法很聪明：系统并不死板照搬每一个手指关节的细微抖动，而是通过算法推断出你到底想做什么，然后再让机器人平稳地执行这个动作。

负责这一步的核心组件是 MimicGen NIM 微服务。这是一种预构建好的容器化服务，专门把头显采集到的人类操作轨迹翻译成机器人能执行的运动数据。

只教一次，AI 脑补出海量训练数据

教机器人学会像人一样干活，最大的痛点就是数据太贵太难采。

国内机器人平台 Fourier（傅利叶）CEO 顾捷就提到，人形机器人开发极度复杂，以前需要从物理世界里枯燥、痛苦地采集海量真实数据。

在 Siggraph 现场演示中，英伟达展示了他们怎么解决这个难题。开发者只需要戴着 Apple Vision Pro 示范少数几次动作，剩下的工作就可以交给仿真系统。

MimicGen 会配合仿真平台 Nvidia Isaac Sim，基于这几次极少的人工示范，凭空扩增生成出大量的合成运动与感知数据。

这些虚实结合的数据会被直接送进 Project Groot 人形机器人模型里进行训练。换句话说，不用天天拉着机器人实地摆弄成百上千次，在虚拟世界里就能把大部分技能点满，大幅省下了测试时间和资金成本。

目前，这套微服务、Project Groot 模型以及负责多阶段调度的工作流工具 OSMO，都统一打包在英伟达人形机器人开发者计划中。不过普通玩家暂时还摸不到，英伟达目前只对机器人软硬件制造商以及专业开发者开放申请。

为什么重要

人形机器人这两年热度极高，但行业最大的秘密是：大家手里都极度缺乏高质量的物理世界交互数据。

自动驾驶当年靠成千上万辆车跑公路刷里程，人形机器人可没法随便放到大街上随便抓东西。如果全靠工程师穿着外骨骼或者拉着摇杆一次次教，成本高到根本不可能规模化。

英伟达这一步走得非常老道。它把 Apple Vision Pro 这种现成、高精度的消费级空间计算设备，直接变成了廉价的数据采集前端，再用 Isaac Sim 和 MimicGen 在仿真里成倍放大这些数据。这等于帮整个机器人行业做了一次数据杠杆。

对行业来说，我们认为这会进一步加固英伟达在机器人领域的军火商地位。黄仁勋不造整机，但他把从算力、数据生成、仿真环境到动作调度的全套工具链全都占满了。未来的机器人团队不管底盘和舵机是谁家的，大脑大概率都得在英伟达的这套系统里先跑一遍。

隐患在于，合成数据虽然能解决量的问题，但物理世界的边角情况永远比仿真更刁钻。机器人在虚拟世界里学得再好，一旦遇到现实里的反光、材质形变或磨损，意图推断会不会变形，依然需要真实场景的反复拷打。