AutoRT 等三項技術釋出：為機器人帶來更強資料採集與運動泛化

教一個機器人擦桌子，遠比教它在網上寫程式碼難得多。網上的程式碼有海量文本可以硬啃，但現實世界的物理互動資料不僅極其昂貴，而且機器人反應慢、容易撞壞東西，更別說換個新場景就抓瞎。

Google DeepMind 拿出了一套組合拳，一口氣釋出了三項新技術：AutoRT、SARA-RT 和 RT-Trajectory。它們分別針對機器人領域最頭疼的三個老問題：怎麼低成本採集真實資料、怎麼讓模型跑得更快，以及怎麼讓機械臂學會舉一反三。

讓大模型當監工，給機器人寫「憲法」

要讓機器人真正進辦公室或家庭幹活，最缺的就是多樣化的物理運算元據。DeepMind 搞的 AutoRT，本質上是把大語言模型和視覺語言模型當成了機器人的包工頭。

具體運作時，機器人用攝像頭看一眼周圍環境，視覺模型先識別出視線裡有什麼東西。接著大語言模型開始出點子，比如建議機器人把零食放到操作檯上，並決定先執行哪一個。

在長達 7 個月的辦公室真實測試裡，AutoRT 最多同時指揮 20 臺機器人，累計排程了 52 臺不同裝置，完成了 7.7 萬次操作測試，涵蓋 6650 種不同任務。

讓大模型指揮實體機械臂，萬一把人打了或者把玻璃砸了怎麼辦。DeepMind 給它加了一套機器人憲法，靈感來自阿西莫夫的機器人三定律，首先禁止機器人傷害人類，並明確不準執行涉及人類、寵物、鋒利物品和電器的任務。

光靠大模型自我反省顯然不夠安全。系統還保留了傳統物理防護，一旦機械臂關節受力超過閾值就會自動停機，現場也必須有人手持實體開關盯梢。

砍掉計算死重，再給動作畫條參考線

解決了資料採集，還得解決機器人的反應速度。現在先進的具身智慧大多用 Transformer 架構，但注意力的二次方複雜度意味著感測器解析度一翻倍，計算量就會暴漲四倍。

DeepMind 推出的 SARA-RT 採用了一種叫 up-training 的微調方法，把原本的二次方複雜度直接降到了線性複雜度。把這項技術用在幾十億引數的 RT-2 模型上，模型不僅沒有變笨，準確率反而提高了 10.6%，推理速度加快了 14%。把它用在處理深度相機點雲資料的模型上，速度更是翻了一倍多。

第三項技術 RT-Trajectory 則是教機械臂理解動作。以前訓練機器人是把擦桌子這種抽象語言直接對映成左移、右移的關節訊號，換個新桌子它就不會了。

RT-Trajectory 會在訓練影片裡給機械臂末端疊加一條 2D 軌跡草圖。機器人在學動作時，能直接看懂運動路線，甚至人類隨手畫個草圖或者做個示範，它也能照著模仿。在 41 個完全沒見過的全新測試任務中，這項技術把成功率從 RT-2 的 29% 直接拉高到了 63%。

為什麼重要

我們認為，DeepMind 這次最大的看點，在於具身智慧的研發邏輯正在發生質的變化。

過去訓練機器人，要麼靠人工遙操作慢慢攢資料，要麼在物理模擬軟體裡虛擬訓練，然後再想辦法跨越虛擬到現實的鴻溝。AutoRT 證明了讓大模型自主設計任務並在真實世界裡批次刷經驗是可行的，這把物理資料的收整合本打下來了一大截。

對開發者和機器人企業來說，SARA-RT 也是個非常實在的工具。它不需要重新進行昂貴的預訓練，還能相容開源的線性注意力方案，這意味著端側算力有限的機器人也能跑更龐大的模型。

不過隱患同樣寫在明處。大模型的決策依然存在幻覺，DeepMind 依然不得不依賴人類現場拿著物理斷電開關盯防。只要這種物理安全繩一天拔不掉，全自主的無人化部署就只能停留在受限的測試場裡。