Google DeepMind 推出 Gemini 機器人 1.5:能思考再動手
Google DeepMind 推出兩款機器人模型 Gemini Robotics 1.5 與 Gemini Robotics-ER 1.5。前者是動作模型,能先思考再把指令轉為動作,還能跨機器人形態遷移;後者負責空間推理和工具呼叫。ER 1.5 已在 Google AI Studio 上線,動作模型僅對部分夥伴開放。
讓機器人把垃圾按要求分類,光看懂垃圾是什麼還不夠。它得先上網查本地垃圾分類指南,辨認眼前的紙盒或塑膠瓶,再分步驟控制機械臂丟進對應垃圾桶。傳統機器人卡在中間任何一步,整個流程就斷了。
Google DeepMind 推出兩款機器人模型:Gemini Robotics 1.5 和 Gemini Robotics-ER 1.5。前者負責把指令和畫面轉成機械臂動作,後者則扮演高層大腦,專門負責空間推理和任務規劃。
目前,Gemini Robotics-ER 1.5 已經向開發者開放預覽,在 Google AI Studio 和 Gemini API 均可呼叫。負責運動控制的 Gemini Robotics 1.5 則先開放給選定合作伙伴。
一個動腦,一個動手
Google 把機器人的工作拆成了兩層結構。
負責高層統籌的 Gemini Robotics-ER 1.5 本質是一個具身推理模型。它能理解複雜的自然語言指令,並在物理場景裡做多步驟規劃。當收到模糊要求時,它會原生呼叫 Google Search 查閱資料,或者呼叫第三方函式來獲取外部上下文。
更關鍵的是它的空間理解能力。在開發者測試中,它能精準輸出畫面中各物體的二維座標,並結合深度感測器生成三維空間定位。面對影片流時,它甚至能判斷物體的開合狀態,或者按時間戳復盤機械臂先後完成了哪些動作。
定好具體步驟後,它會把分解好的自然語言指令轉交給 Gemini Robotics 1.5。
動作模型學會在動手前先思考
以往的視覺-語言-動作模型,往往是收到指令就直接對映成電機控制訊號。一旦現場環境發生變化,動作很容易變形甚至失敗。
Gemini Robotics 1.5 引入了思考鏈機制,在執行動作之前先生成一段自然語言推理。例如在分揀衣物時,它會先分析「按顏色分類」意味著深色淺色分開,再決定先挪動哪一件衣服、從什麼角度抓取更穩,並把長任務拆解成容易執行的短動作。
此外,它還展現出了跨本體學習能力。在 ALOHA 2 機械臂上訓練的動作,可以直接遷移到 Apptronik 的雙足人形機器人 Apollo 以及雙臂 Franka 上,不需要為每種機器人重新做全套專項訓練。
在安全方面,Google 升級了 ASIMOV 基準測試,讓模型在規劃動作時結合常識判斷潛在危險,並在必要時觸發機載避障等底層安全子系統。
為什麼重要
對機器人開發者來說,具身智慧過去最大的門檻是通用的空間規劃。自己訓練一個既懂物體相對位置又會調 API 的大模型成本太高。現在 ER 1.5 開放 API,開發者可以用極低門檻把 Google 的空間推理能力接進現有的機械臂系統,值得立刻在 Google AI Studio 上做原型測試。
對整個行業而言,跨本體遷移能力是這一代模型最關鍵的突破。如果一套視覺動作模型能在不同構型的硬體間複用,具身智慧的資料孤島就有機會被打破。這會倒逼其他具身智慧團隊加速統一動作表徵。
我們認為,Google 把系統拆成「推理大腦」加「動作小腦」的做法非常實用。讓 ER 1.5 去負責耗費算力的多模態檢索和規劃,底層動作模型只專注執行與容錯,兼顧了靈活性與安全性。不過從目前的演示來看,Gemini Robotics 1.5 仍處於早期合作階段,高層推理轉化為精準毫秒級控制的實際延遲,依然需要在更嚴苛的現實產線中接受檢驗。
來源 (2)
- deepmind.google(在新分頁開啟)原文deepmind.google
- developers.googleblog.com(在新分頁開啟)報導developers.googleblog.com