具身智慧裝上仿生眼:EyeVLA 支援自主旋轉變焦,看清細節不靠貴硬體
TechXplore 報道上海交大、中科院等機構聯合研發了仿生機械眼系統 EyeVLA。它能聽從指令自主旋轉和變焦,把動作轉化為 Token 與視覺語言模型結合。最值得關注的是,它不用昂貴的高畫質感測器,就能兼顧廣角覆蓋與微小細節,解決了以往固定攝像頭看不清動態環境的難題。

人類看東西的時候,脖子會轉,眼珠子會動,看遠處的小字還會眯起眼睛聚焦。但現在的具身智慧機器人,絕大多數還在頂著幾顆固定死板的鏡頭硬看。
這就帶來一個很尷尬的問題:視野給寬了,細節看不清;要想看清小物件,就得堆昂貴的高畫質相機或者裝一堆雷達和輔助感測器。
上海交通大學、中國科學院和大連理工大學的研究團隊最近打算解決這個彆扭的設定。他們開發了一套仿人類眼球的主動視覺系統,名叫 EyeVLA,相關論文已經發在了 arXiv 上。
這顆「機器人眼球」不用額外堆感測器,也不用昂貴的特種鏡頭,自己就能轉動和變焦,專門幫具身 AI 主動去捕捉環境裡最關鍵的細節。
把鏡頭動作變成下一個 Token
具身智慧機器人通常靠 RGB-D 相機來感知世界,既拍彩色畫面又測深度。但在開放環境裡,固定視角的相機根本沒辦法同時兼顧「大範圍覆蓋」和「精細區域性」。
EyeVLA 的做法簡單直接:既然固定相機不夠用,那就給機器人做一顆能轉、能放大縮小的仿生眼球。
光有硬體還不夠,更關鍵的是怎麼讓 AI 聽懂人話、主動去看。研究團隊把目光轉向了視覺語言模型。
他們利用強化學習,把這顆機械眼球的物理動作——比如往哪轉、轉多少度、變焦放大幾倍,全部離散化成了動作 Token。簡單說,系統在規劃看哪裡的過程,就跟語言模型預測下一個詞、視覺模型預測特徵一樣,被塞進了一個統一的自迴歸序列裡。
為了讓機器人找得更準,系統會在目標周圍畫出 2D 邊框來引導推理鏈條。團隊只用了極少量的真實世界資料,就成功把視覺語言模型的開放世界理解能力,遷移到了這顆眼球的主動控制策略上。
在室內的真實環境測試中,EyeVLA 表現得相當利索。只要給一句指令,它就能自己轉過去、拉近焦距,把原本模糊的微小目標拍得清清楚楚。
為什麼重要
我們認為,EyeVLA 最聰明的地方在於它沒有陷入「堆硬體」的死衚衕,而是把主動感知做成了大模型原生的一部分。
具身智慧現在一個很大的成本負擔,就是動輒上萬美元的高精度感測器套件。但現實世界中,機器人並不需要無時無刻用超高解析度處理眼前的全部畫素。人類的大腦也是靠眼球轉動和注意力聚焦來節省能耗的,EyeVLA 走的就是這條路。
對於做倉儲揀選、精細裝配或者家庭家務機器人的團隊來說,這種思路一旦成熟,意味著可以用更低廉的相機模組,搞定原本需要昂貴工業相機才能做到的精密作業。未來如果能整合進機械臂或人形機器人頭部,系統整體的價效比會高很多。
不過看起來它目前也有一些現實短板。機械旋轉和變焦機構在長期頻繁運轉下,機械磨損和校準漂移是逃不開的工程難題,耐用度需要打個問號。此外,動態環境下變焦與對焦的時延,也可能會影響高即時性任務的反應速度。
但無論如何,主動視覺正成為具身智慧不可忽視的方向。比起把機器人做成一個僵硬的移動監控塔,教它像人一樣「打量」世界,顯然是更符合直覺的解法。
來源 (1)
- techxplore.com(在新分頁開啟)原文techxplore.com