NVIDIA 发布 Eureka：用 GPT-4 写算法，让机械手学会转笔

教机器人转笔到底有多难？如果你试过用强化学习训练机械臂，就会知道最痛苦的从来不是算力，而是怎么写奖励函数。你得绞尽脑汁用数学代码告诉它「手指微屈、重心借力」，稍有偏差，机械手就会以各种诡异的姿势把笔甩飞。

NVIDIA Research 端出了一项新成果：Eureka。这是一个由 GPT-4 驱动的 AI 智能体，它不直接控制舵机，而是自主编写训练机器人的奖励算法。

在它的调教下，一只五指灵巧机械手第一次像真人一样，熟练完成了极其考验协调性的手指转笔动作。

让大模型当教练，自己改写训练代码

强化学习过去十年成果很多，但奖励设计始终是一门玄学，全靠工程师一遍遍试错。

Eureka 的做法是把大语言模型的代码生成能力，和底层物理仿真无缝接起来。它不需要开发者专门写 prompt，也不用提前准备奖励模板，只要告诉它任务目标，GPT-4 就会自己敲出候选的奖励代码。

接着，这些代码被送进 NVIDIA Isaac Gym 进行大规模 GPU 并行仿真测试。Isaac Gym 运行在 NVIDIA Omniverse 平台上，能在几秒钟内跑完海量的物理交互试验。

跑完一轮后，Eureka 会自动汇总训练结果的关键统计数据，转成总结反馈给 GPT-4，让它反思并优化下一版奖励函数。这种「自我改进」的闭环，彻底甩开了人工写代码的瓶颈。

而且它不是完全不听劝。如果开发者有偏好，随时可以插手提供人类反馈，Eureka 会立刻顺着人类意图调整奖励策略。

击败人类专家，从转笔到操纵剪刀

根据公布的研究论文，Eureka 写的奖励程序，在超过 80% 的任务上击败了人类专家手写的代码。

这直接让机器人的平均任务表现提升了超过 50%。

转笔只是展现灵巧度的一个冰山一角。Eureka 已经啃下了近 30 项高难度物理任务，论文里对其中 20 项灵巧基准做了深度评测。

从拉开抽屉、打开柜门、抛球接球，到使用剪刀裁剪，它都能教会机器人。受训的对象不仅限于机械手，四足狗、双足人形机器人的跑步步态、四旋翼飞行器以及各类协作机械臂，都能被同一套逻辑训出来。

NVIDIA 研究科学家 Linxi “Jim” Fan 提到，Eureka 是大模型与 GPU 仿真技术的独特结合。之前他们做出了能自主玩《我的世界》的 Voyager，而 Eureka 则把触角伸向了现实物理世界与动画生成。

目前，Eureka 的论文和底层 AI 算法已经向开发者开源，可以在 Isaac Gym 结合 Omniverse 直接上手。

为什么重要

我们认为，Eureka 最聪明的地方，在于它没有硬拿大语言模型去直接输出机械关节控制指令，而是让 LLM 充当了「算法架构师」。

大模型缺乏真实的物理直觉，让它直接实时控机械臂极容易翻车；但它懂常识、懂代码、懂逻辑归纳。把大模型的归纳能力放在外层设计规则，把内层高频的试错交给 GPU 加速的物理仿真器，这种架构分工非常漂亮。

对机器人开发者来说，它几乎砸碎了过去强化学习中最耗时的人工瓶颈。原本一个资深算法工程师要调几周的奖励权重，现在交给 Eureka 几个小时就能跑出超越专家的方案。想要尝试灵巧操作的团队，现在就值得把这套开源算法拉下来跑跑。

但这里依然存在一道绕不开的坎：仿真到真实世界的鸿沟（Sim-to-Real）。在 Isaac Gym 完美无瑕的数字世界里转笔，和在现实中面对传感器延迟、指尖橡胶磨损、笔身微小滑移是两码事。Eureka 训出的算法能不能在真实硬件上抗住物理噪声，还需要更多实机检验。

同时这也展现了 NVIDIA 极深的产品护城河。Eureka 跑得快的前提是 Isaac Gym 和 Omniverse 的高并发算力支撑。在推销软硬件生态这件事上，英伟达又给整个行业上了一课。