跳到正文
IFAI

機器人

DeepMind 拿 Gemini 1.5 Pro 指路:機器人看懂手繪地圖,成功率 90%

首次發布 傳播指數 34

本週,Google DeepMind 展示新研究 Mobility VLA,將 Gemini 1.5 Pro 接入 Everyday Robots 機器人。員工說出需求或畫張草圖,它就能看懂並自主帶路,在 9000 平方英尺辦公室中互動成功率約 90%。

圖:techcrunch.com

去年 Google 大裁員的時候,曾經備受矚目的 Everyday Robots 專案被直接砍掉,那一批造價不菲的輪式機器人看起來成了辦公室角落裡的擺設。

但這週,Google 旗下的 DeepMind 機器人團隊把這群「下崗機器人」拉了出來。給它們戴上一枚俏皮的黃色小領結,再塞進一個 Gemini 1.5 Pro 大腦之後,這些機器人開始在 9000 平方英尺的辦公室裡到處溜達當嚮導了。

像帶新員工一樣遛一圈就能認路

DeepMind 這週公佈了一篇題為《Mobility VLA》的論文,核心就是用 Gemini 1.5 Pro 的長上下文能力和拓撲圖,教機器人聽懂人類指令並在複雜辦公環境裡導航。

傳統機器人建圖通常要靠昂貴的雷射雷達反覆掃描,或者工程師把死板的地圖資料硬編碼進去。但這次 DeepMind 換了個思路,用了一種叫做 MINT(演示漫遊多模態指令導航)的方法。

說白了,這就跟帶新入職的同事熟悉工位差不多。人類帶著機器人在辦公室裡走上一圈,一邊走一邊用自然語言給它介紹不同地標。機器人把看到的畫面和聽到的話存下來,利用層次化視覺-語言-動作架構(Hierarchical VLA),把環境空間和常識推理結合在一起。

建立好記憶之後,機器人不僅能聽懂口頭人話,還能識別牆上的塗鴉手勢甚至手繪草圖。

聽得懂黑話,還看得懂白板草圖

在 DeepMind 公佈的演示影片裡,員工只要像呼喚智慧音箱一樣喊一句「OK, Robot」,就能給它派活。

一位員工對它說「帶我去個能畫畫的地方」。機器人停頓了一下回復說「好的,給我一分鐘,Gemini 正在思考」,隨後就穩穩地把人領到了一面巨大的白板牆前面。

在另一個測試裡,員工讓機器人按照白板上畫的指示走。白板上只畫了一張非常簡陋的草圖路線,指向所謂的「藍色區域」。機器人盯著白板看了一會兒,自己規劃了一條稍顯曲折的路線,一路走到了內部的機器人測試區,最後用極具自信的語氣播報自己已經成功按指示到達。

根據 Google 的資料,在與員工進行的 50 多次真實互動中,這套系統的導航成功率達到了 90% 左右。

為什麼重要

我們認為,DeepMind 這項實驗最聰明的地方,在於它沒有去硬卷機器人的機械運動控制,而是把前沿大模型的多模態和長上下文能力,直接當成了機器人的高階認知中樞。

過去服務型機器人的痛點不是輪子走不穩,而是根本聽不懂人類那些模糊的意圖。你說「我想畫畫」,傳統程式在地圖裡根本搜不到這個房間名字。Gemini 1.5 Pro 把常識推理補齊之後,機器人不僅能理解抽象需求,甚至能像人類實習生一樣看懂臨時手繪的草圖路線,這就讓機器人在辦公樓、醫院或倉庫裡的實用性一下子拉高了一個臺階。

不過目前它也有很明顯的短板。影片裡機器人每次行動前都要說一句「給我一分鐘思考」,這種數十秒的延遲在演示裡看著挺萌,在真實生產環境裡卻可能讓人失去耐心。而且 50 多次測試的樣本量依然偏小,在人來人往、雜物隨處亂放的動態環境裡,90% 的成功率也意味著每十次就會出一次差錯。

但不管怎麼說,Google 證明了把大模型當做機器人大腦的可行性。那些原本被廢棄的舊硬體,只要換上足夠聰明的模型,就能瞬間變成懂得看臉色和讀地圖的助手。具身智慧的門檻,看起來正在被純軟體和大模型的能力迅速推平。

來源 (1)

  1. [1]
    techcrunch.com(在新分頁開啟)原文techcrunch.com

每日 AI 內容精選