DeepMind 釋出 RT-2：看懂圖文直接指揮動作，機器人泛化能力翻倍

如果你想讓機器人把桌上的垃圾扔掉，以前得費盡周折。

你得教它什麼是薯片袋，教它香蕉皮吃完了也是垃圾，再一步步教機械臂怎麼移動、抓取、丟進垃圾桶。只要換個沒見過的包裝盒，它大機率就卡在原地不知所措。

Google DeepMind 帶來的 RT-2，想從根本上改變這種笨拙的訓練方式。

別再玩傳話遊戲：一個模型同時看、想、動

以往的機器人控制系統像是在玩傳話遊戲。頂層的大語言模型負責理解指令，中間層視覺模型分析畫面，底層的運動系統再接收指令去動關節。

RT-2 被定義為一種新的 VLA 模型，也就是視覺、語言與動作融合的模型。它把這一長串分工合併到了單個 Transformer 架構裡。

說白了，它直接把網路上海量的圖文資料，轉化成了機械臂的控制動作指令。

以前類似 PaLM-E 負責看和推理，RT-1 負責動作遷移。現在 RT-2 把兩者合二為一，機器人不必再把思維和肢體動作拆成兩套系統來對接。

什麼是垃圾？它從網上學會了常識

物理世界的資料採集極其昂貴，沒人能讓機器人把世界上每一種物品都抓取一遍。

RT-2 的厲害之處在於知識遷移。吃完的零食袋或者香蕉皮，在日常語境裡都算垃圾，這些概念它早在網際網路圖文裡見過了。

在沒有專門針對特定動作做過訓練的情況下，RT-2 就能根據這些常識，識別出桌上的廢棄物並拿去丟掉。

在超過 6000 次機器人實測中，面對訓練集裡出現過的老任務，RT-2 表現穩定，跟上一代 RT-1 相當。

但到了全新的、沒見過的場景裡，RT-2 的成功率直接從 RT-1 的 32% 飆升到了 62%，幾乎翻了一倍。

為什麼重要

對開發者和研究人員來說，RT-2 證明了大模型不僅能寫程式碼和聊天，它的語義理解能力完全可以下放到機械臂的關節轉動上。這意味著以往最耗費成本的機器人採集資料環節，終於可以蹭上整個網際網路公開資料的紅利。

在行業層面，這打破了此前高層規劃與底層控制割裂的路線。以前做具身智慧，往往是做軟體的管決策、做工業的調控制，中間隔著巨大的溝通成本。DeepMind 這種單模型端到端輸出動作的做法，會逼著其他機器人團隊重新審視自家的技術架構。

我們認為，DeepMind 這一步走得相當漂亮。它巧妙地繞開了物理世界資料匱乏的死穴，用常識推理彌補了動作資料的不足。

不過隱患同樣擺在眼前。62% 的未知場景成功率在實驗室裡算是不小的飛躍，但如果放進家庭或工業環境，意味著近四成的動作依然會失誤，這在面對貴重物品或複雜安全要求時依然不可接受。RT-2 跨出了關鍵一步，但離真正省心的保姆機器人，還有一段路要走。