跳到正文
IFAI

机器人

具身智能装上仿生眼:EyeVLA 支持自主旋转变焦,看清细节不靠贵硬件

首次发布 传播指数 31

TechXplore 报道上海交大、中科院等机构联合研发了仿生机械眼系统 EyeVLA。它能听从指令自主旋转和变焦,把动作转化为 Token 与视觉语言模型结合。最值得关注的是,它不用昂贵的高清传感器,就能兼顾广角覆盖与微小细节,解决了以往固定摄像头看不清动态环境的难题。

具身智能装上仿生眼:EyeVLA 支持自主旋转变焦,看清细节不靠贵硬件
图:techxplore.com

人类看东西的时候,脖子会转,眼珠子会动,看远处的小字还会眯起眼睛聚焦。但现在的具身智能机器人,绝大多数还在顶着几颗固定死板的镜头硬看。

这就带来一个很尴尬的问题:视野给宽了,细节看不清;要想看清小物件,就得堆昂贵的高清相机或者装一堆雷达和辅助传感器。

上海交通大学、中国科学院和大连理工大学的研究团队最近打算解决这个别扭的设定。他们开发了一套仿人类眼球的主动视觉系统,名叫 EyeVLA,相关论文已经发在了 arXiv 上。

这颗「机器人眼球」不用额外堆传感器,也不用昂贵的特种镜头,自己就能转动和变焦,专门帮具身 AI 主动去捕捉环境里最关键的细节。

把镜头动作变成下一个 Token

具身智能机器人通常靠 RGB-D 相机来感知世界,既拍彩色画面又测深度。但在开放环境里,固定视角的相机根本没办法同时兼顾「大范围覆盖」和「精细局部」。

EyeVLA 的做法简单直接:既然固定相机不够用,那就给机器人做一颗能转、能放大缩小的仿生眼球。

光有硬件还不够,更关键的是怎么让 AI 听懂人话、主动去看。研究团队把目光转向了视觉语言模型。

他们利用强化学习,把这颗机械眼球的物理动作——比如往哪转、转多少度、变焦放大几倍,全部离散化成了动作 Token。简单说,系统在规划看哪里的过程,就跟语言模型预测下一个词、视觉模型预测特征一样,被塞进了一个统一的自回归序列里。

为了让机器人找得更准,系统会在目标周围画出 2D 边框来引导推理链条。团队只用了极少量的真实世界数据,就成功把视觉语言模型的开放世界理解能力,迁移到了这颗眼球的主动控制策略上。

在室内的真实环境测试中,EyeVLA 表现得相当利索。只要给一句指令,它就能自己转过去、拉近焦距,把原本模糊的微小目标拍得清清楚楚。

为什么重要

我们认为,EyeVLA 最聪明的地方在于它没有陷入「堆硬件」的死胡同,而是把主动感知做成了大模型原生的一部分。

具身智能现在一个很大的成本负担,就是动辄上万美元的高精度传感器套件。但现实世界中,机器人并不需要无时无刻用超高分辨率处理眼前的全部像素。人类的大脑也是靠眼球转动和注意力聚焦来节省能耗的,EyeVLA 走的就是这条路。

对于做仓储拣选、精细装配或者家庭家务机器人的团队来说,这种思路一旦成熟,意味着可以用更低廉的相机模组,搞定原本需要昂贵工业相机才能做到的精密作业。未来如果能集成进机械臂或人形机器人头部,系统整体的性价比会高很多。

不过看起来它目前也有一些现实短板。机械旋转和变焦机构在长期频繁运转下,机械磨损和校准漂移是逃不开的工程难题,耐用度需要打个问号。此外,动态环境下变焦与对焦的时延,也可能会影响高实时性任务的反应速度。

但无论如何,主动视觉正成为具身智能不可忽视的方向。比起把机器人做成一个僵硬的移动监控塔,教它像人一样「打量」世界,显然是更符合直觉的解法。

来源 (1)

  1. [1]
    techxplore.com(在新标签页打开)原文techxplore.com

每日 AI 内容精选