普林斯頓提出 ATLA：用 GPT-3 講人話，教機械臂更快學會用工具

教一個小孩使用工具，你通常不會只把東西塞給他讓他自己瞎琢磨，而是會順便解釋一句：這把錘子頭很重，握住木柄末端敲下去最省力。

但在過去的機器人訓練裡，機械臂往往就是那個只能瞎琢磨的孩子。工程師給它裝上攝像頭和感測器，丟給它一堆三維模型，讓它通過成千上萬次試錯硬猜物體的物理特性。

普林斯頓大學的研究團隊公佈了一項名為 ATLA（Accelerated Learning of Tool Manipulation with LAnguage）的新成果。他們發現，教模擬機械臂使用工具最快的方式，居然是直接在訓練裡給它「講人話」。

讓 GPT-3 當機器人的工具說明書

普林斯頓的研究人員沒有花力氣去人工撰寫幾十種工具的使用說明，也沒有去網上大費周章地爬取網頁，而是找來了 OpenAI 在 2020 年釋出的語言大模型 GPT-3。

他們設計了一套簡單的提示詞，讓 GPT-3 用嚴謹科學的語言描述工具的形狀特徵與具體用途。論文共同作者、普林斯頓自然語言處理組的 Karthik Narasimhan 解釋說，語言模型學過了整個網際網路，用它來提取工具常識，比眾包標註或者抓網頁全面得多。

在模擬實驗中，機械臂的訓練集包含了 27 種形態各異的日常工具，小到斧頭，大到擦玻璃的橡膠刮水器。

機械臂需要學會四種基本動作：推、提、用工具把桌上的圓柱體掃到指定位置，以及把木釘敲進孔裡。

研究團隊採用了一種元學習（meta-learning）架構。機械臂不僅要學習怎麼拿工具幹活，還在同步學習理解這些文本描述。換句話說，團隊在教機器人做工的同時，順便教了它英語。

撬棍要抓哪一頭，AI 聽懂了

訓練完成後，研究人員拿出了機械臂此前完全沒見過的 9 種新工具做測試。

結果顯示，在絕大多數任務裡，帶語言輔助訓練的模型掌握新工具的速度，明顯碾壓只靠視覺和物理座標摸索的對照組。

論文第一作者、普林斯頓博士生 Allen Z. Ren 舉了一個很直觀的例子：用撬棍在桌面上掃動一個瓶子。

沒有語言資訊的機械臂表現得很笨拙，它直接伸手抓在撬棍靠近彎曲頭部的位置，發力點不對，瓶子四處亂滾。

而在語言模型給它灌輸過撬棍的槓桿形態和用途後，機械臂準確地握住了撬棍的長柄末端，並巧妙地利用前端的彎曲凹槽穩穩卡住瓶子推行。

這項由豐田研究院（TRI）部分資助的研究，其核心目標是讓機器人系統走出實驗室，具備應對陌生現實環境的泛化能力。

為什麼重要

我們認為這項研究非常聰明地切中了一個痛點：機器人的物理泛化，本質上缺的是常識。

過去幾年，機器人學界為了讓機械臂多認一種工具，往往需要構建龐大的 3D 點雲資料集或做海量昂貴的物理渲染。但人類社會的物理規則和工具經驗，早就被高度濃縮在人類語言裡了。

普林斯頓這項工作證明，大語言模型不需要直接控制馬達舵機，它光是作為常識檢索器，就能替機器人省下海量的無效物理試錯。這種把通用語義知識注入具身智慧管線的做法，極大地降低了端到端動作策略的訓練成本。

對整個具身智慧行業來說，這意味著多模態與機器人的結合有了一條更清晰的分工路線：大模型負責提供關於物理世界的常識先驗，底層控制網路負責執行具體運動學軌跡。

不過目前這套方案還停留在模擬環境裡，現實世界中的光影干擾、感測器噪聲和材質摩擦力遠比模擬器複雜。但它給行業指出的方向很明確：想讓機器人快點長腦子，先學會向大語言模型借常識，比硬堆物理算力划算得多。