跳到正文
IFAI

機器人

Google 釋出 Gemini Robotics ER 2:給機器人裝上即時高階大腦

首次發布 傳播指數 48

Google DeepMind 推出具身推理模型 Gemini Robotics ER 2。它能通過連續影片流追蹤任務進度,實現 91.3% 的關鍵節點判定精度,並支援多機協作排程。這意味著機器人終於可以一邊執行動作一邊即時規劃後續任務,告別卡頓與停頓。

Google 釋出 Gemini Robotics ER 2:給機器人裝上即時高階大腦
圖:blog.google

以往看機器人做家務的影片,最讓人著急的不是動作慢,而是它們總要「卡殼」:走兩步停下來,彷彿腦子裡在瘋狂轉圈想下一步該幹嘛,稍有不慎咖啡倒溢了還在繼續倒。

Google DeepMind 剛剛端出了新一代機器人大腦 Gemini Robotics ER 2。簡單來說,它想解決的就是讓機器人一邊幹活一邊動腦子,不僅手腳要麻利,還得知道自己幹到了哪一步。

這次更新其實是一整套組合拳:除了充當高層排程大腦的具身推理模型 ER 2,還有負責全身運動控制的視覺語言動作模型 Gemini Robotics 2,以及幾小時資料就能遷移到新硬體上的端側模型 Gemini Robotics On-Device 2。

告別走一步停三秒,給機器人裝上「時間感」

機器人在真實世界幹活,最難的一點其實是掌握分寸。比如倒咖啡什麼時候停手,燈泡有沒有擰到位,垃圾袋到底封緊沒有。

ER 2 最大的變化是把推理接進了即時影片流。DeepMind 引入了兩個關鍵能力:一個是進度分類,模型能把任務拆解成五個進度區間即時跟蹤,哪怕中途手滑或者出意外,機器人也能立刻調整重試,不用從頭再來,準確率達到了 57.4%。

另一個是精準時刻捕捉,專門判斷關鍵動作該在哪個瞬間完成。這項測試裡 ER 2 的準確率做到了 91.3%,時間誤差控制在 0.96 秒以內,執行速度比大模型提升了 4 倍,終於把延遲壓縮到了亞秒級。

更重要的是,它通過 Gemini Live API 實現了雙向流式通訊。負責想步驟的 ER 2 和負責動手的底層動作模型同時工作,機器人不用再每走一步就站在原地苦思冥想。

機器狗跑腿、雙臂打包,不同形態還能組團協作

另一個很有意思的突破是多機器人協同。在 DeepMind 的演示裡,不同形狀的機器人不用寫死通訊協議,而是靠統一的語義理解來打配合。

波士頓動力的機器狗 Spot 在 ER 2 的排程下,聽到人類的自然語言指令就能自己去廚房找爆米花拿過來。在更精細的場景裡,Apptronik 的 Apollo 2 人形機器人用一套 22 個自由度的 SharpaWave 五指靈巧手封密封袋,還能跟兩隻手臂的 Franka 協作完成複雜的分揀打包。

安全方面也做了硬性約束:如果檢測到有人類靠近,人形機器人會立刻剎車停步,等周圍清空了再自己繼續幹活。

目前 ER 2 已經通過 Gemini API 和 Google AI Studio 向所有開發者開放,底層動作模型和端側模型則先開放給早期合作伙伴。

為什麼重要

我們認為,DeepMind 這次最聰明的地方在於把「想」和「做」徹底解耦了。讓幾百億引數的大腦專心做規劃、看影片進度、調用搜索,底層的四肢則交給輕量化的動作模型甚至是端側小模型。這種分層架構不僅幫機器人省下了昂貴的算力,還讓同一個大腦既能指揮機器狗,又能調動人形機器人。

對於機器人開發者和工廠自動化團隊來說,現在就值得在 AI Studio 裡接入 ER 2 試一試。它把過去需要手寫狀態機的複雜長流程,變成了只要接個攝像頭影片流就能即時判斷的 API 呼叫,開發門檻降了一大截。

不過隱患也不是沒有。57.4% 的進度判斷準確率雖然比前代強,但放在工業組裝或家庭烹飪這種容錯率極低的場景下,依然有四成以上的機率看不準進度。在完全放手讓機器人獨立幹活之前,人類的安全兜底依然必不可少。

來源 (2)

  1. [1]
    blog.google(在新分頁開啟)原文blog.google
  2. [2]
    deepmind.google(在新分頁開啟)報導deepmind.google

每日 AI 內容精選