跳到正文
IFAI

機器人

Google 詳解 Gemini 機器人模型:從疊千紙鶴到投籃,通用具身智慧來了

首次發布 傳播指數 37

Google DeepMind 揭秘了基於 Gemini 2.0 微調的 Gemini Robotics 系列模型。該系列包含負責空間推理與動作規劃的 Gemini Robotics-ER,以及直接輸出物理控制的視覺-語言-動作模型 Gemini Robotics,無需針對性訓練就能完成疊千紙鶴、做沙拉等未見過的複雜任務。目前已向受信任的測試者及合作伙伴開放。

Google 詳解 Gemini 機器人模型:從疊千紙鶴到投籃,通用具身智慧來了
圖:blog.google

把一隻鞋子放到桌上,讓機械臂把幾支筆放進鞋裡;或者拿出一個從未見過的玩具籃球框和皮球,對它說一句「來個灌籃」。

機器人稍作停頓,接著第一次嘗試就順利完成了灌籃。這是 Google DeepMind 機器人家負責人 Carolina Parada 在測試自家新模型時經歷的真實場景。

Google 正式公佈了專為機器人打造的全新 Gemini 2.0 模型家族。Google 執行長 Sundar Pichai 在 X 上表示,這一里程碑為下一代機器人打下了基礎。

灌籃、摺紙狐狸與裝午餐盒

這批新模型直接建立在 Gemini 2.0 之上,加入了機器人專有資料進行微調。在文本、影片和音訊之外,它們為多模態輸出增加了「物理動作」。

新系列主要包括兩個核心模型。一個是 Gemini Robotics-ER,屬於具身推理模型,基於 Gemini 2.0 Flash 打造。

它的長處是看懂環境和空間判斷。它可以檢測物體、指出具體部位、在三維空間中定位,並預測移動物體所需的運動軌跡與抓握方式,最後生成程式碼來執行動作。目前該模型已面向受信任的測試者和合作夥伴開放。

另一個是功能更全面的視覺-語言-動作模型 Gemini Robotics。它主攻機器人領域最頭疼的靈巧度問題,能夠同時處理空間推理與複雜的物理操作。

在測試中,搭載它的機械臂做出了不少令人意外的操作:做沙拉、裝兒童午餐、下井字棋,甚至折出了一隻摺紙狐狸。Carolina Parada 提到,過去行業習慣針對單一任務反覆訓練機器人,而 DeepMind 選擇在海量任務上進行廣泛學習,最終讓機器人展現出了令人驚喜的泛化能力。

此外,這些模型不僅支援科研常用的雙臂 ALOHA 機器人,還能適配合作夥伴 Apptronik 開發的人形機器人 Apollo,能根據不同機體形態執行擦白板或打包便當等任務。

為什麼重要

我們認為,Google 這次展示的最關鍵變化,是機器人正在告別過去「教會一個動作才能做一個動作」的死板模式。

以往在工廠或實驗室裡,哪怕只是換個稍微不一樣的零件或擺放角度,機械臂往往就卡住了。Gemini Robotics 證明了大語言模型的常識推理能力一旦與物理動作打通,機器人就能理解像「灌籃」或「把筆放進鞋裡」這種從未訓練過的抽象指令。

對於機器人研發團隊和硬體廠商來說,基於 Gemini 2.0 Flash 的推理模型開放測試,意味著大家不需要從零訓練昂貴的物理世界理解底座,開發門檻會大幅降低。

不過 Carolina Parada 也承認,讓機器人真正走進千家萬戶承擔日常家務,依然還需要好幾年時間。現在的摺紙或裝餐盒演示雖然驚豔,但實驗室環境和充滿雜物、動態變化的真實家庭環境完全是兩碼事。而且無論模型推理多麼聰明,複雜的雙臂協調對電機精度、延遲和硬體耐久度都提出了極高要求。看起來,這批模型更可能先在精密製造、複雜工業場景中落地,至於替你做家務的家用管家,大家還得再等等。

來源 (1)

  1. [1]
    blog.google(在新分頁開啟)原文blog.google

話題追蹤Google Gemini 機器人技術

這個話題的歷次新聞,最新的在上面。

  1. Google 詳解 Gemini 機器人模型:從疊千紙鶴到投籃,通用具身智慧來了本則
  2. Google DeepMind釋出Gemini機器人模型:摺紙裝袋全拿下

每日 AI 內容精選