Google DeepMind 聯手 33 家實驗室:釋出最大跨形態機器人資料集與 RT-X
Google DeepMind 聯合 33 家學術實驗室釋出 Open X-Embodiment 資料集及 RT-X 模型。資料集彙總了 22 種機器人的百萬條演示,跨形態訓練讓機器人任務成功率平均提升 50%,RT-2-X 的新技能泛化成功率更是提升至三倍,資料集與權重已開源。
Google DeepMind 聯合全球 33 家學術實驗室,釋出了開源的機器人資料集 Open X-Embodiment 以及對應的 RT-X 模型。它做的事情很直接:把不同形態機器人的動作資料攢在一起,訓練出一個能通用於多種機器人的通用模型。
過去做機器人研發,基本上是一臺機器一套模型。換個機械臂、換個抓夾,甚至只是換個操作環境,很多演算法就得推倒重來。這次釋出的資源,就是為了讓機器人也能像大語言模型那樣,跨形態學習通用技能。
22 種機器人與百萬條演示
Open X-Embodiment 彙集了來自 20 多家機構的資料。整個資料集涵蓋了 22 種不同的機器人形態,包含超過 500 項技能、15 萬個任務以及 100 多萬條操作片段(episodes)。Google 把它類比為機器人領域的 ImageNet,這也是目前同類開源資料集中規模最全面的一套。
基於這套資料,DeepMind 訓練了兩個版本的基準模型:RT-1-X 和 RT-2-X。RT-1-X 基於此前專注機器人控制的 RT-1 架構,而 RT-2-X 則基於視覺-語言-動作(VLA)模型 RT-2,能同時消化網路多模態資料與底層動作指令。
跨形態訓練的效果如何
在五家合作實驗室的測試中,RT-1-X 在五種常見機器人平臺上的平均任務成功率,比各實驗室針對單一形態獨立訓練的專屬模型高出了 50%。這說明即便機械結構不同,動作規律依然可以在模型層面遷移。
而在高階的 RT-2-X 上,泛化能力更為明顯。當測試機器人面臨自己訓練資料裡從未出現、但在其他機器人資料集中存在的新技能時,RT-2-X 的成功率達到了之前 RT-2 的三倍。
最直觀的體現是空間理解。比如指令從「把蘋果放在布上」換成「把蘋果移到布旁邊」,RT-2-X 可以精確調整抓取與移動軌跡。不過 DeepMind 也指出,這種跨機器人的技能湧現,必須依賴引數量和容量足夠大的模型架構才能顯現。
怎麼獲取與上手
Open X-Embodiment 資料集和 RT-1-X 的模型權重(checkpoint)目前已經完全公開,研究人員和開發者可以直接下載使用。如果想深入參與後續迭代,專案組也開放了專門的合作渠道。
為什麼重要
對於機器人領域的開發者和學術研究者來說,這套資源非常值得儘早接觸。單一實驗室以往很難承擔百萬級真機演示資料的採集成本,Open X-Embodiment 直接拉平了跨硬體訓練的門檻,不需要自己造輪子收集所有動作資料。
我們認為,DeepMind 這一步聰明在把「預訓練通用模型」的範式真正搬到了具身智慧上。機器人長期缺乏基礎大模型,核心痛點就是硬體形態各異、資料無法互通。RT-X 證明了跨形態混合訓練不僅可行,還能顯著提升單機表現。當然,目前釋出的主要是學術資料集和 RT-1-X 檢查點,真正要落地到複雜工業或家庭環境,仍需要結合具體硬體進行微調與安全驗證。
來源 (2)
- deepmind.google(在新分頁開啟)原文deepmind.google
- deepmind.com(在新分頁開啟)報導deepmind.com