跳到正文
IFAI

機器人

DeepMind 釋出 Gemini Robotics-ER 1.6:機器人學會看儀表盤,空間推理全面升級

首次發布 傳播指數 38

Google DeepMind 推出具身推理模型 Gemini Robotics-ER 1.6。新模型大幅增強了空間指向、多視角任務完成檢測以及原生工具呼叫能力。DeepMind 還聯手波士頓動力為四足機器人 Spot 引入儀表讀數能力,結合程式碼執行精準讀取工業壓力錶與視鏡。

圖:deepmind.google

讓機器人學會抓杯子已經不算新鮮事,但要讓它在遍地管線和儀表盤的化工廠裡,準確看懂壓力錶的指標到底指在哪個刻度,才是真正的硬功夫。

Google DeepMind 正式推出具身推理模型 Gemini Robotics-ER 1.6。這個模型不是去控制機器人關節怎麼轉,而是給機器人安上一顆負責高層規劃的大腦。

新版本在空間推理、物體打點計數和任務完成檢測上大幅升級,效能超越了之前的 1.5 版本和通用的 Gemini 3.0 Flash,目前已經上線 Gemini API 和 Google AI Studio。

既能多機位盯任務,還會自己搜搜索

DeepMind 把打點當成空間推理的基本功。在新模型裡,打點可以作為中間步驟,不僅能從一堆東西里挑出符合條件的最小物體,還能計算軌跡抓取點,甚至執行類似指向所有能塞進藍杯子裡的物品這種帶約束的指令。

機器人幹活最怕做沒做成全靠猜。現在的機器人身上通常裝了多個攝像頭,頭頂一個,手腕上還有一個。

Gemini Robotics-ER 1.6 增強了多視角理解能力,能把不同視角的影片流在時間維度上拼在一起,就算遇到遮擋或光線不好,也能判斷當前動作到底算不算完成,好決定是該重試還是進入下一步。

不僅如此,它還能在做任務時直接呼叫 Google Search 查資料,或者把具體抓取動作分發給底層的視覺語言動作模型和第三方程式碼。

帶著程式碼看錶盤,識別率衝到 93%

這次更新裡最搶眼的新功能,是和波士頓動力合作搞出來的儀表盤讀數。

在很多工業廠區裡,波士頓動力的 Spot 四足機器人負責巡檢,但老廠區裡全是各種傳統指標表、溫度計和化學視鏡,光靠普通影像識別極容易被視差或反光帶偏。

DeepMind 採用了一種叫智慧體視覺的辦法。模型看到儀表後,會先放大影像看清刻度細節,接著通過打點定位和程式碼執行去計算液體高度或指標比例,最後結合世界常識報出讀數。據 Future Tools 披露,這項讀數準確率達到了 93%。

在物理安全方面,新模型也學得更剋制。如果你讓它去拿超過 20 公斤的重物或者碰液體,它會在空間規劃階段主動拒絕。針對真實工傷事故場景的測試中,它對危險的識別率比 Gemini 3.0 Flash 在文本上高出 6%,在影片場景下高出 10%。

為什麼重要

我們認為,Google DeepMind 這一步走得相當清醒。它沒有試圖用一個龐大的端到端大模型去包攬機器人的所有底層電機控制,而是把精力集中在高層推理、工具呼叫和任務校驗上。

對於做工業巡檢或具身智慧的開發團隊來說,這個模型非常值得現在去測試。特別是針對老舊工廠的自動化改造,以往要單獨訓練一套視覺模型去適配幾十種不同的舊錶盤,成本高得嚇人。現在直接呼叫 Gemini Robotics-ER 1.6,配合現成的 Spot 或輪式底盤,就能快速搭出一套巡檢方案。

用寫程式碼算比例的方式來讀錶盤,看起來比純靠模型端到端猜數值聰明得多,很大程度上避開了數字幻覺。不過隱患也很明顯:這種多步驟的呼叫鏈嚴重依賴雲端網路和 API 響應速度,一旦工廠現場網路不穩,巡檢機器人的決策節奏就可能被打亂。

來源 (1)

  1. [1]
    deepmind.google(在新分頁開啟)原文deepmind.google

每日 AI 內容精選