跳到正文
IFAI

機器人

Google DeepMind釋出Gemini機器人模型:摺紙裝袋全拿下

首次發布 傳播指數 43

Google DeepMind基於Gemini 2.0推出Gemini Robotics與Gemini Robotics-ER兩款模型。新模型直接輸出物理動作,能搞定摺紙等高精細操作,泛化基準表現翻倍。Google還聯手Apptronik,正把模型裝進Apollo人形機器人。

圖:deepmind.google

讓 AI 玩文字遊戲或在螢幕裡寫程式碼,大家早就看膩了。但如果讓大模型走出機房,去疊千紙鶴或者把零食塞進自封袋,大部分機器人還是會立刻笨手笨腳。

Google DeepMind 在 3 月 12 日給自家的 Gemini 2.0 裝上了手和腳。他們釋出了兩個面向具身智慧的新模型:Gemini Robotics 和 Gemini Robotics-ER。說白了,DeepMind 不想再讓大模型只活在虛擬世界裡,而是要讓它直接指揮機械臂幹粗活和細活。

一個直接動手,一個在幕後當大腦

這次推出的兩個模型分工很明確。

Gemini Robotics 是個標準的視覺-語言-動作(VLA)模型。它直接把物理動作變成了大模型的一種輸出方式。以前的大模型輸出的是文字或者程式碼,而它輸出的是機器人的電機指令。

按照 DeepMind 的資料,在泛化基準測試中,Gemini Robotics 的表現比現有的主流 VLA 模型翻了一倍還多。它不僅能聽懂多種語言的日常對話指令,還能處理從沒見過的物品和環境,甚至能做摺紙、把零食塞進封口袋這種極考驗手指精細度的多步驟動作。

另一個模型 Gemini Robotics-ER 裡的 ER 是具身推理(Embodied Reasoning)的縮寫。它不直接接管電機,而是扮演懂空間幾何的大腦。它把 3D 檢測、空間指向和程式碼生成合在一起,端到端控制機器人的成功率比基礎版 Gemini 2.0 提升了 2 到 3 倍。比如看到桌上的咖啡杯,它能自己推算出機械夾爪該怎麼避開障礙、以什麼角度捏住杯柄,然後生成底層控制程式碼讓機器人去執行。

適配性上,這兩個模型除了在經典的 ALOHA 2 雙臂平臺和高校常用的 Franka 機械臂上訓練驗證外,還直接接進了人形機器人。DeepMind 已經和人形機器人公司 Apptronik 達成合作,要把 Gemini 2.0 裝進後者的 Apollo 人形機器人體內。此外,Boston Dynamics、Agility Robots、Agile Robots 和 Enchanted Tools 也拿到了測試許可權。

為了防止力道失控傷到人,DeepMind 這次還開源了一個叫 ASIMOV 的安全評估資料集,並把科幻作家阿西莫夫的機器人三定律做成了自然語言形式的機器人憲法框架,用來約束大模型的動作意圖。

為什麼重要

具身智慧最大的難點,一直是從螢幕裡的懂,到物理世界的會做。以往給機器人寫程式,換個光線、換個不同顏色的杯子,程式碼就可能崩掉。Gemini Robotics 證明了大模型的多模態理解能力可以直接轉化成物理泛化能力,即使沒見過的雜物也能拿得起來。

對機器人硬體廠商來說,這是個明顯的利好。像 Apptronik 這樣的人形機器人公司,硬體本體造出來了,最缺的就是通用大腦。DeepMind 開放 ER 模型給外部測試,意味著硬體團隊不需要自己從頭訓幾百億引數的物理控制大模型,直接接上 Google 的雲端或邊緣大腦就行。

我們認為,DeepMind 這一步走得相當務實,它沒有像某些初創公司那樣只押注端到端的大一統黑盒,而是同時保留了 ER 這種兼顧傳統控制器和程式碼生成的路線。底層電機需要高頻防撞,上層語義需要大模型理解,把兩者拆開,安全性和實用性明顯更高。

但隱患也很明顯。零食包裝袋和摺紙雖然驚豔,但實驗室環境和嘈雜多變的工廠、家庭完全是兩碼事。真正的物理世界延遲要求極高,Gemini 這種龐大體量的模型能否保證毫秒級的即時反應、算力成本要多少,DeepMind 還沒給出完全令人信服的落地方案。目前它只對少數受邀夥伴開放,普通開發者想在自己的小車或機械臂上用起來,大概還要再等等。

來源 (1)

  1. [1]
    deepmind.google(在新分頁開啟)原文deepmind.google

話題追蹤Google Gemini 機器人技術

這個話題的歷次新聞,最新的在上面。

  1. Google 詳解 Gemini 機器人模型:從疊千紙鶴到投籃,通用具身智慧來了
  2. Google DeepMind釋出Gemini機器人模型:摺紙裝袋全拿下本則

每日 AI 內容精選