PaLM-E 具身大模型亮相：5620 亿参数，把视觉直接注入机器人大脑

给大语言模型接上网线，它能写代码、做数学题；但如果给它接上机械臂和摄像头，它能听懂人话去收拾房间吗？

Google 近期公布了具身多模态语言模型 PaLM-E。这项研究最大的看点，是直接把大语言模型装进了机器人的身体里，让原本只能在聊天框里码字的模型，开始理解物理世界里的真实感官信号。

把摄像头画面当成文字来读

以往让大模型控制机器人，通常要把视觉画面先转成文字标签，再让模型根据文字做推理。这种做法不仅容易丢失空间细节，一旦遇到没见过的物体，系统很容易卡壳。

PaLM-E 的思路完全不同。研究团队没有让视觉和语言分家，而是把来自摄像头的连续图像、机器人自身的状态数据，通过编码器直接压缩成与文本 token 维度相同的连续向量。

说白了，对这个模型而言，一张抽屉的照片、一个机械臂的角度，和句子里面的一个英文单词本质上没有区别。它们被交错拼成所谓的「多模态句子」，塞进同一个自回归大模型里。

这套模型里最大的版本叫 PaLM-E-562B，足足有 5620 亿参数。它把当时 Google 最强的语言模型 PaLM-540B 和 220 亿参数的视觉模型 ViT-22B 拼在了一起，所有参数都能联合更新。

在基准测试中，这个 562B 的巨无霸甚至没有针对问答做专门微调，就在视觉问答基准 OK-VQA 上拿下了当时的最优成绩，同时完全保留了写诗、写代码和数学解题等通用纯语言能力。

没见过的玩具乌龟，也能照推不误

把语言和视觉打通之后，机器人的规划能力有了肉眼可见的质变。

在演示中，一台移动机械臂收到了指令：「从抽屉里把米果拿给我」。机器人需要自己拆解步骤：找抽屉、拉开抽屉、识别里面的米果、抓取并送达。每一步都依赖摄像头的实时视觉反馈，不断修正接下来的决策。

更让人惊喜的是泛化能力。在桌面推积木的实验中，研究人员下达指令：「把绿色积木推到乌龟旁边」。

机械臂顺利完成了任务，而事实是，这个机器人在之前的训练数据里从来没见过那只玩具乌龟。在另一个「把红色积木推到咖啡杯旁」的任务里，训练集里只有三次包含咖啡杯的演示，且没有一次出现过红积木。

这就是联合训练带来的正向迁移。机器人在物理世界里积累的数据非常稀缺，但互联网上有海量的图文数据。PaLM-E 证明了一件事：靠互联网图文培养出来的通用常识，可以直接借给机器人用。

为什么重要

在具身智能领域，最大的瓶颈从来不是机械结构，而是数据。机器人在物理世界里采集一次动作数据的成本，比爬取几十亿网页文本高出几个数量级。PaLM-E 最聪明的做法，就是用互联网现成的大规模视觉与语言资产，去补贴机器人领域的数据贫血。

对开发者和具身智能团队来说，这一步指明了具身大脑的通用路径。过去机器人往往需要针对特定场景从头训练策略模型，换个工位或换个零件就得重来。PaLM-E 表明，直接把通识大模型作为高层规划器，通过统一的多模态表征驱动底层策略，不仅行得通，而且能继承跨模态的零样本理解能力。

不过，我们认为它的局限也同样显眼。5620 亿参数的体量极其庞大，根本不可能跑在边缘端的机械臂芯片上，必须高度依赖云端高算力集群。每次抓取和规整都需要几秒的推理延迟，这对工业流水线或对反应速度要求极高的动态场景来说完全不实用。

此外，PaLM-E 负责的是高层时序规划，把「收拾积木」拆解成一个个动作目标，真正的底层电机毫秒级控制依然要靠专用的低阶策略执行。即便如此，它依然撕开了一个突破口：大模型不再只是屏幕里的副驾驶，物理世界正在成为它的下一个运行环境。