跳到正文
IFAI

机器人

地平线开源 HoloMotion-1:端侧跑出 300 帧,机器人零样本学跳舞

首次发布 传播指数 39

地平线开源人形机器人小脑大模型 HoloMotion-1,拥有 4 亿参数,借助 MoE 与 KV 缓存技术在端侧实现约 300 FPS 实时推理。它让 Unitree G1 等机器人无需额外训练就能模仿跳舞、爬行和踢腿等高动态动作,并支持 VR 实时指令控制。

HoloMotion-1 是一个面向人形机器人全身运动控制的开源「小脑」大模型,能让机器人在端侧以大约 300 FPS 的高帧率,流畅模仿复杂的全身动作。

过去机器人运控模型大多停留在百万或千万参数,稍微复杂一点的全身协调就容易卡壳。HoloMotion-1 把参数量直接拉到了 4 亿,同时把单步推理延迟压到了 3.32 毫秒,换算下来就是每秒 300 帧。通常人形机器人的控制频率只要 50Hz 就够用,300 FPS 意味着它能在端侧留出充裕的算力余量,真正接进高频闭环控制链路。

它能做什么

简单来说,HoloMotion-1 想解决的是「模仿任意姿态」。

团队用多来源数据训练了这个模型,包括互联网视频里的人体动作恢复、高精度光学动捕、低成本 VR 遥操作以及惯性动捕设备。通过统一的动作重定向处理,模型学会了大量高动态全身技能。

在真实硬件测试中,把模型直接部署到宇树 Unitree G1 人形机器人上,不需要额外的针对性训练,机器人就能完成零样本迁移。它不仅能跟着网络视频跳舞,还能完成爬行、坐下、武术高踢腿等接触丰富的复杂动作,甚至可以实时接收 VR 手柄传来的控制指令。

怎么跑起来与技术细节

要把 4 亿参数的模型塞进机器人端侧实时跑,核心靠的是架构优化。

HoloMotion-1 采用了 MoE-Transformer 架构。输入参考动作和机器人的本体观测状态后,系统会先通过条件路由器进行稀疏专家路由,只激活部分专家网络,再加上序列级训练优化和 KV 缓存机制,大幅削减了单步计算开销。

这次开源并不是只扔出一个权重文件,而是提供了一整套工程工具链。仓库覆盖了环境配置、数据处理、重定向、模型训练、评测到真机部署的完整链路。地平线开放了预训练的动作跟踪和速度跟踪模型,开发者可以直接拿去验证,也可以用自己的动作数据重新训练。

在硬件部署方面,该方案后续将支持地瓜机器人 RDK S100 计算平台,该平台提供 80 到 128 TOPS 算力,专门用来承载这类大小脑一体化推理任务。

为什么重要

如果你是做人形机器人运控的算法工程师或硬件团队,HoloMotion-1 非常值得立刻拉下来跑一跑。它最大的好处是省掉了从零搭建仿真和动作重定向流程的重复造轮子过程,直接给了一套能在消费级人形机器人上落地的现成底座。

过去业内做机器人全身控制,要么依赖传统的简化动力学模型,动作死板;要么用小模型做强化学习,换个动作就得重新训练一次。HoloMotion-1 用大模型加海量视频数据的路线,证明了机器人小脑也能像语言模型一样靠规模化涌现出泛化能力。虽然目前它还处在模仿姿态的第一阶段,未来还需要补齐复杂地形适应和语言指令生成,但我们认为,这种把小脑模型做大、推理做快的开源尝试,踩中了具身智能走向实用化的关键节点。

来源 (1)

  1. [1]

每日 AI 内容精选