Mistral 发布 Robostral Navigate:靠单目摄像头导航,跑赢多传感器
Mistral AI 发布首个具身导航模型 Robostral Navigate。这款 8B 参数模型仅依靠单个普通 RGB 摄像头、无需激光雷达或深度传感器,在 R2R-CE 未见测试集上取得 76.6% 成功率,超越了多传感器系统,适用于轮式、足式与飞行机器人。
让机器人穿过迷宫一样的办公室去储物间拿个包裹,以往要么在头上顶一个价值不菲的激光雷达,要么得前后左右架满深度相机。现在 Mistral 想把这些昂贵的传感器全部拆掉,只留一颗几十块钱的普通摄像头。
Mistral AI 正式推出了自研的具身导航大模型 Robostral Navigate。这个 80 亿参数(8B)的模型只凭单一 RGB 摄像头拍摄的画面,就能理解人类自然语言指令,带机器人穿过此前从未见过的真实建筑与走廊。
在业内通用的 R2R-CE(连续环境 Room-to-Room)基准测试中,Robostral Navigate 在训练未见过的测试场景(unseen)中拿下了 76.6% 的成功率。这个成绩不仅把目前最好的单目摄像头方案拉开了 9.7 个百分点,甚至比堆了深度传感器或多摄像头系统的最强方案还高出 4.5 个百分点。
像人类一样用手指路
大多数依赖视觉的导航模型,往往一上来就去算机器人在物理世界里具体位移了几米几厘米。这种纯测距算坐标的逻辑,一旦换一个焦距不同的镜头或者换个高矮不同的底盘,整个模型就很容易晕头转向。
Mistral 给这个 8B 模型换了一套思路,叫作「指路导航」(pointing)。它直接在机器人当前眼前的画面里预测目标位置的像素坐标,并指出到达后的朝向。只要目标在视野内,机器人就像看着远处的路标往前走,因此对摄像头的焦距和相机内参变化天然不敏感。
要是目标正好在视野盲区怎么办?这时候模型会自动切回兜底模式,给出机器人局部坐标系的相对位移,比如「向前走两米,左移一点五米,再向左转二十五度」。据官方介绍,模型支持轮式、足式乃至飞行机器人,不同体型的机器都能适配。
把几个月的训练压缩到几天
具身智能最大的痛点是真实世界数据又贵又危险。Mistral 这次全程都在仿真环境里练兵,一共采集了覆盖 35 万个场景的约 240 万条运动轨迹。
面对如此庞大的轨迹数据,Mistral 搬出了做语言模型的老本行,引入了基于前缀缓存(prefix-caching)的树状注意力掩码技术。它把机器人一整段长任务直接压缩进单个序列,一次前向传播就能算完所有时间步,同时防止未来信息泄漏。
这项技术把监督训练所需的 token 数量砍掉了 22 倍,硬生生把原本需要跑几个月的训练周期压缩到了几天完成。在此基础上,团队还套用在线强化学习算法 CISPO,让模型在试错中学会自己调整失误和探索路线,单是这一步就把任务成功率又往上推了 3.2 个百分点。
为什么重要
我们认为,Mistral 这一步走得相当务实,切中了当下具身机器人落地的最大死穴:成本与硬件门槛。
以往只要谈到让机器人室内自主巡检、送外卖或者巡逻,硬件清单里总少不了昂贵的激光雷达或多组传感器。这不仅拉高了硬件 BOM 成本,也增加了机械标定和维护的复杂度。Robostral Navigate 证明了只靠一颗最便宜的 RGB 摄像头,在纯仿真合成数据训练下,就能在复杂室内环境跑出顶尖水准。如果你是从事仓储、配送或巡检机器人的开发者,哪怕现在只是观望,也该意识到纯视觉端到端导航已经不再是遥远的玩具,拿普通硬件试跑的门槛正在急剧降低。
对整个具身智能行业来说,这也给各家机器人方案敲响了警钟。过去堆硬件传感器的路线固然稳妥,但大模型结合海量仿真训练之后,纯视觉方案展现出来的泛化和容错上限正在抹平传感器差距。不过隐患也同样存在,在强反光、全黑无光或完全缺乏纹理特征的极端环境下,单目纯视觉的可靠性究竟能否完全取代物理传感器,依然需要真实业务场景的长期检验。
来源 (1)
- mistral.ai(在新标签页打开)原文mistral.ai