普林斯顿提出 ATLA：用 GPT-3 讲人话，教机械臂更快学会用工具

教一个小孩使用工具，你通常不会只把东西塞给他让他自己瞎琢磨，而是会顺便解释一句：这把锤子头很重，握住木柄末端敲下去最省力。

但在过去的机器人训练里，机械臂往往就是那个只能瞎琢磨的孩子。工程师给它装上摄像头和传感器，丢给它一堆三维模型，让它通过成千上万次试错硬猜物体的物理特性。

普林斯顿大学的研究团队公布了一项名为 ATLA（Accelerated Learning of Tool Manipulation with LAnguage）的新成果。他们发现，教仿真机械臂使用工具最快的方式，居然是直接在训练里给它「讲人话」。

让 GPT-3 当机器人的工具说明书

普林斯顿的研究人员没有花力气去人工撰写几十种工具的使用说明，也没有去网上大费周章地爬取网页，而是找来了 OpenAI 在 2020 年发布的语言大模型 GPT-3。

他们设计了一套简单的提示词，让 GPT-3 用严谨科学的语言描述工具的形状特征与具体用途。论文共同作者、普林斯顿自然语言处理组的 Karthik Narasimhan 解释说，语言模型学过了整个互联网，用它来提取工具常识，比众包标注或者抓网页全面得多。

在仿真实验中，机械臂的训练集包含了 27 种形态各异的日常工具，小到斧头，大到擦玻璃的橡胶刮水器。

机械臂需要学会四种基本动作：推、提、用工具把桌上的圆柱体扫到指定位置，以及把木钉敲进孔里。

研究团队采用了一种元学习（meta-learning）架构。机械臂不仅要学习怎么拿工具干活，还在同步学习理解这些文本描述。换句话说，团队在教机器人做工的同时，顺便教了它英语。

撬棍要抓哪一头，AI 听懂了

训练完成后，研究人员拿出了机械臂此前完全没见过的 9 种新工具做测试。

结果显示，在绝大多数任务里，带语言辅助训练的模型掌握新工具的速度，明显碾压只靠视觉和物理坐标摸索的对照组。

论文第一作者、普林斯顿博士生 Allen Z. Ren 举了一个很直观的例子：用撬棍在桌面上扫动一个瓶子。

没有语言信息的机械臂表现得很笨拙，它直接伸手抓在撬棍靠近弯曲头部的位置，发力点不对，瓶子四处乱滚。

而在语言模型给它灌输过撬棍的杠杆形态和用途后，机械臂准确地握住了撬棍的长柄末端，并巧妙地利用前端的弯曲凹槽稳稳卡住瓶子推行。

这项由丰田研究院（TRI）部分资助的研究，其核心目标是让机器人系统走出实验室，具备应对陌生现实环境的泛化能力。

为什么重要

我们认为这项研究非常聪明地切中了一个痛点：机器人的物理泛化，本质上缺的是常识。

过去几年，机器人学界为了让机械臂多认一种工具，往往需要构建庞大的 3D 点云数据集或做海量昂贵的物理渲染。但人类社会的物理规则和工具经验，早就被高度浓缩在人类语言里了。

普林斯顿这项工作证明，大语言模型不需要直接控制马达舵机，它光是作为常识检索器，就能替机器人省下海量的无效物理试错。这种把通用语义知识注入具身智能管线的做法，极大地降低了端到端动作策略的训练成本。

对整个具身智能行业来说，这意味着多模态与机器人的结合有了一条更清晰的分工路线：大模型负责提供关于物理世界的常识先验，底层控制网络负责执行具体运动学轨迹。

不过目前这套方案还停留在仿真环境里，现实世界中的光影干扰、传感器噪声和材质摩擦力远比模拟器复杂。但它给行业指出的方向很明确：想让机器人快点长脑子，先学会向大语言模型借常识，比硬堆物理算力划算得多。