PaLM-E 具身大模型亮相：5620 億引數，把視覺直接注入機器人大腦

給大語言模型接上網線，它能寫程式碼、做數學題；但如果給它接上機械臂和攝像頭，它能聽懂人話去收拾房間嗎？

Google 近期公佈了具身多模態語言模型 PaLM-E。這項研究最大的看點，是直接把大語言模型裝進了機器人的身體裡，讓原本只能在聊天框裡碼字的模型，開始理解物理世界裡的真實感官訊號。

把攝像頭畫面當成文字來讀

以往讓大模型控制機器人，通常要把視覺畫面先轉成文字標籤，再讓模型根據文字做推理。這種做法不僅容易丟失空間細節，一旦遇到沒見過的物體，系統很容易卡殼。

PaLM-E 的思路完全不同。研究團隊沒有讓視覺和語言分家，而是把來自攝像頭的連續影像、機器人自身的狀態資料，通過編碼器直接壓縮成與文本 token 維度相同的連續向量。

說白了，對這個模型而言，一張抽屜的照片、一個機械臂的角度，和句子裡面的一個英文單詞本質上沒有區別。它們被交錯拼成所謂的「多模態句子」，塞進同一個自迴歸大模型裡。

這套模型裡最大的版本叫 PaLM-E-562B，足足有 5620 億引數。它把當時 Google 最強的語言模型 PaLM-540B 和 220 億引數的視覺模型 ViT-22B 拼在了一起，所有引數都能聯合更新。

在基準測試中，這個 562B 的巨無霸甚至沒有針對問答做專門微調，就在視覺問答基準 OK-VQA 上拿下了當時的最優成績，同時完全保留了寫詩、寫程式碼和數學解題等通用純語言能力。

沒見過的玩具烏龜，也能照推不誤

把語言和視覺打通之後，機器人的規劃能力有了肉眼可見的質變。

在演示中，一臺移動機械臂收到了指令：「從抽屜裡把米果拿給我」。機器人需要自己拆解步驟：找抽屜、拉開抽屜、識別裡面的米果、抓取並送達。每一步都依賴攝像頭的即時視覺反饋，不斷修正接下來的決策。

更讓人驚喜的是泛化能力。在桌面推積木的實驗中，研究人員下達指令：「把綠色積木推到烏龜旁邊」。

機械臂順利完成了任務，而事實是，這個機器人在之前的訓練資料裡從來沒見過那隻玩具烏龜。在另一個「把紅色積木推到咖啡杯旁」的任務裡，訓練集裡只有三次包含咖啡杯的演示，且沒有一次出現過紅積木。

這就是聯合訓練帶來的正向遷移。機器人在物理世界裡積累的資料非常稀缺，但網際網路上有海量的圖文資料。PaLM-E 證明了一件事：靠網際網路圖文培養出來的通用常識，可以直接借給機器人用。

為什麼重要

在具身智慧領域，最大的瓶頸從來不是機械結構，而是資料。機器人在物理世界裡採集一次動作資料的成本，比爬取幾十億網頁文本高出幾個數量級。PaLM-E 最聰明的做法，就是用網際網路現成的大規模視覺與語言資產，去補貼機器人領域的資料貧血。

對開發者和具身智慧團隊來說，這一步指明瞭具身大腦的通用路徑。過去機器人往往需要針對特定場景從頭訓練策略模型，換個工位或換個零件就得重來。PaLM-E 表明，直接把通識大模型作為高層規劃器，通過統一的多模態表徵驅動底層策略，不僅行得通，而且能繼承跨模態的零樣本理解能力。

不過，我們認為它的侷限也同樣顯眼。5620 億引數的體量極其龐大，根本不可能跑在邊緣端的機械臂晶片上，必須高度依賴雲端高算力叢集。每次抓取和規整都需要幾秒的推理延遲，這對工業流水線或對反應速度要求極高的動態場景來說完全不實用。

此外，PaLM-E 負責的是高層時序規劃，把「收拾積木」拆解成一個個動作目標，真正的底層電機毫秒級控制依然要靠專用的低階策略執行。即便如此，它依然撕開了一個突破口：大模型不再只是螢幕裡的副駕駛，物理世界正在成為它的下一個執行環境。