NVIDIA 釋出 Eureka：用 GPT-4 寫演算法，讓機械手學會轉筆

教機器人轉筆到底有多難？如果你試過用強化學習訓練機械臂，就會知道最痛苦的從來不是算力，而是怎麼寫獎勵函式。你得絞盡腦汁用數學程式碼告訴它「手指微屈、重心借力」，稍有偏差，機械手就會以各種詭異的姿勢把筆甩飛。

NVIDIA Research 端出了一項新成果：Eureka。這是一個由 GPT-4 驅動的 AI 智慧體，它不直接控制舵機，而是自主編寫訓練機器人的獎勵演算法。

在它的調教下，一隻五指靈巧機械手第一次像真人一樣，熟練完成了極其考驗協調性的手指轉筆動作。

讓大模型當教練，自己改寫訓練程式碼

強化學習過去十年成果很多，但獎勵設計始終是一門玄學，全靠工程師一遍遍試錯。

Eureka 的做法是把大語言模型的程式碼生成能力，和底層物理模擬無縫接起來。它不需要開發者專門寫 prompt，也不用提前準備獎勵模板，只要告訴它任務目標，GPT-4 就會自己敲出候選的獎勵程式碼。

接著，這些程式碼被送進 NVIDIA Isaac Gym 進行大規模 GPU 並行模擬測試。Isaac Gym 執行在 NVIDIA Omniverse 平臺上，能在幾秒鐘內跑完海量的物理互動試驗。

跑完一輪後，Eureka 會自動彙總訓練結果的關鍵統計資料，轉成總結反饋給 GPT-4，讓它反思並最佳化下一版獎勵函式。這種「自我改進」的閉環，徹底甩開了人工寫程式碼的瓶頸。

而且它不是完全不聽勸。如果開發者有偏好，隨時可以插手提供人類反饋，Eureka 會立刻順著人類意圖調整獎勵策略。

擊敗人類專家，從轉筆到操縱剪刀

根據公佈的研究論文，Eureka 寫的獎勵程式，在超過 80% 的任務上擊敗了人類專家手寫的程式碼。

這直接讓機器人的平均任務表現提升了超過 50%。

轉筆只是展現靈巧度的一個冰山一角。Eureka 已經啃下了近 30 項高難度物理任務，論文裡對其中 20 項靈巧基準做了深度評測。

從拉開抽屜、開啟櫃門、拋球接球，到使用剪刀裁剪，它都能教會機器人。受訓的物件不僅限於機械手，四足狗、雙足人形機器人的跑步步態、四旋翼飛行器以及各類協作機械臂，都能被同一套邏輯訓出來。

NVIDIA 研究科學家 Linxi “Jim” Fan 提到，Eureka 是大模型與 GPU 模擬技術的獨特結合。之前他們做出了能自主玩《我的世界》的 Voyager，而 Eureka 則把觸角伸向了現實物理世界與動畫生成。

目前，Eureka 的論文和底層 AI 演算法已經向開發者開源，可以在 Isaac Gym 結合 Omniverse 直接上手。

為什麼重要

我們認為，Eureka 最聰明的地方，在於它沒有硬拿大語言模型去直接輸出機械關節控制指令，而是讓 LLM 充當了「演算法架構師」。

大模型缺乏真實的物理直覺，讓它直接即時控機械臂極容易翻車；但它懂常識、懂程式碼、懂邏輯歸納。把大模型的歸納能力放在外層設計規則，把內層高頻的試錯交給 GPU 加速的物理模擬器，這種架構分工非常漂亮。

對機器人開發者來說，它幾乎砸碎了過去強化學習中最耗時的人工瓶頸。原本一個資深演算法工程師要調幾週的獎勵權重，現在交給 Eureka 幾個小時就能跑出超越專家的方案。想要嘗試靈巧操作的團隊，現在就值得把這套開源演算法拉下來跑跑。

但這裡依然存在一道繞不開的坎：模擬到真實世界的鴻溝（Sim-to-Real）。在 Isaac Gym 完美無瑕的數字世界裡轉筆，和在現實中面對感測器延遲、指尖橡膠磨損、筆身微小滑移是兩碼事。Eureka 訓出的演算法能不能在真實硬體上抗住物理噪聲，還需要更多實機檢驗。

同時這也展現了 NVIDIA 極深的產品護城河。Eureka 跑得快的前提是 Isaac Gym 和 Omniverse 的高併發算力支撐。在推銷軟硬體生態這件事上，輝達又給整個行業上了一課。