跳到正文
IFAI

AI科研

动作模型 Möbius:一句话生成 3D 动作,还能反向理解与指令编辑

首次发布 传播指数 57

研究人员提出统一动作-语言模型 Möbius,把 3D 人体动作的生成、理解、补全与编辑整合进同一个架构。模型直接处理连续帧级动作,省去了离散化和预训练 VAE,参数最高拓展至 1.7B。这意味着同一个模型既能听懂动作也能做动画,大幅降低了 3D 角色动作制作与微调的门槛。

Möbius 是一个能把 3D 人体动作理解、生成、补全和编辑全包揽的统一动作-语言模型。你输入一句话描述,它能直接生成对应的 3D 骨骼动画;反过来,丢给它一段动作片段,它也能用自然语言精准描述角色在干什么。

除了常规的文生动作,它还支持时序动作补全与指令编辑。如果你手里只有一段不完整的残缺动作,它可以根据上下文自动把缺失动作补齐,甚至能按文字要求定制补全;想微调现有动画时,直接对它提自然语言修改要求即可。

它是怎么跑通的

以往同类模型往往是拼装结构:语言模型负责动作理解,生成部分再外挂一个基于潜空间的扩散模块。两者表示空间割裂,生成质量与理解连贯性很难兼顾。

Möbius 把扩散去噪过程直接拉进了动作理解的多模态表示空间。干净动作、带噪动作以及文本特征共同参与统一的注意力计算,再通过角色专用参数分别处理理解与生成两路任务。

更关键的一点在于,它直接在连续帧级别的原始动作数据上运行。它不需要对动作做离散离散化处理,也完全甩掉了预训练动作 VAE 的包袱,大幅简化了动作表征流程。

实测效果与开放情况

团队提供了 0.6B 和 1.7B 两种参数规模,并在高达 1700 小时的动作数据集上进行了扩展验证。

在 HumanML3D 基准测试中,0.6B 版本的 R@1 检索准确率达到 0.8209,FID 降到了 6.1291,各项关键指标明显超过同类统一模型。1.7B 版本同样在更大规模数据上保持了极高的动作多样性与准确度。

目前研究团队已经在 arXiv 发布了论文并上线了项目主页展示效果。不过需要说明的是,其 GitHub 仓库当前标明代码还在内部审核阶段,正式源码与权重还需要等待审核完毕后放出。

为什么重要

对于游戏开发者、3D 动画师以及需要配合视频模型做分镜预演的创作者来说,Möbius 这类工具非常值得持续跟踪。过去调整一段动画往往需要在动作库搜索、重定向和手动修穿模之间来回折腾,能直接用自然语言理解加微调的工具,会显著缩短原型制作周期。

我们认为,这项工作最聪明的地方是彻底抛弃了 VAE 压缩和离散 Token,证明了连续帧级原始动作同样可以在自回归和扩散混合架构下良好收敛。不过在权重和代码正式解禁前,它暂时还不能直接接入生产管线,建议动画和技术美术团队先看主页 Demo,把关注点放在它后续开源的许可协议与接口易用性上。

来源 (3)

  1. [1]
    jiazhishu.github.io(在新标签页打开)原文jiazhishu.github.io
  2. [2]
  3. [3]

每日 AI 内容精选