跳到正文
IFAI

开源项目

NVIDIA 开源 MotionBricks:给几个关键姿势,实时补全连贯动作

首次发布 传播指数 48

NVIDIA 开源动作生成模型 MotionBricks。它只需输入前后的目标姿势,就能实时计算并补全中间平滑的运动过渡,还能把翻越、坐下等复杂动作像积木一样拼接。仓库包含人体与宇树 G1 机器人两套预训练权重和演示工具,代码采用 Apache 2.0 开源。

MotionBricks 是 NVIDIA 开源的实时动作生成模型,它能把 3D 角色和人形机器人的运动过渡变得像搭积木一样简单。

你只需要给它提供角色最近的四个姿势,再加上一到四个目标姿势,它就会在毫秒内自动算好中间的所有过渡动作。翻越障碍、坐下或者绕行这类复杂的物体交互,都能直接拆成一个个动作积木自由拼接,完全不需要重新训练模型。

它是怎么跑起来的

传统动画制作里,补齐关键帧之间的动作往往非常费劲。MotionBricks 的解法是把生成流程拆成三个协同工作的模块。

第一个模块是根节点预测器,用来计算角色重心移动的路径和需要耗费的时间。第二个模块是掩码 Token Transformer,负责顺着这条路径预测动作片段。最后一个模块是基于 VQ-VAE 的解码器,把这些离散片段还原成连贯流畅的姿势序列。

每一次生成能输出 6 到 16 个动作片段,换算下来大约是 0.6 到 1.9 秒的运动过程。运行环境会实时记录刚播完的动作,再把最后的四个姿势自动喂给下一次计算,这样就能无限串联出连续的奔跑、潜行或互动。

根据测试数据,它的处理速度最高可以达到每秒 15000 帧,延迟只有 2 毫秒左右,完全跟得上即时游戏引擎和实体机器人的控制频率。

规格与上手门槛

这次开源的内容相当完整,官方在 Hugging Face 上放出了两个约 800MB 的预训练权重,分别针对 SOMA 人体骨骼和宇树 Unitree G1 人形机器人。两者底层使用同一套控制管线,只是骨骼定义不同。

仓库里自带了四款工具:一个是基础的中间帧补间演示,一个是支持前进、侧移、下蹲以及僵尸步态的角色漫游场景,另外还有两个用于制作自定义动作块和场景的编辑器。

硬件方面,它的运行环境依赖 TensorRT 和 NVIDIA Warp,因此需要一张 NVIDIA 显卡。官方测试环境为搭载 GeForce RTX 4090 的 Windows 或 Linux 设备。只要装好 uv 和 Git LFS,克隆仓库后执行环境同步,就能直接用自带的 ONNX 模型跑起演示,初次运行会自动编译 TensorRT 缓存。

授权方面分得很细:核心代码遵循宽松的 Apache 2.0 协议,预训练模型采用 NVIDIA Open Model Agreement,在符合条款的前提下支持商用。

为什么重要

对于游戏开发者和 3D 动画师来说,这套工具最大的价值在于大幅砍掉了繁琐的骨骼过渡和状态机调试成本。你不再需要为角色翻箱子、爬楼梯逐个手调融合树,丢几个锚点姿势就能得到自然的结果。

而对于做具身智能和机器人控制的团队,MotionBricks 证明了同一套生成逻辑能同时驱动虚拟人和实体双足机器人。它给高层任务规划和底层电机控制之间搭了一座轻量且极快的桥梁。

我们认为它的聪明之处在于克制,它没有试图用一个庞大的端到端大模型解决所有走跑跳,而是专注于把两点之间的补间做到极致低延迟。如果你手头有支持 CUDA 的机器,非常推荐拉下仓库跑一下内置的场景预览体验一番。

来源 (1)

  1. [1]
    github.com(在新标签页打开)原文github.com

每日 AI 内容精选