跳到正文
IFAI

开源项目

MSFlow 开源:打字生成人体动作,还能锁死任意关节位置

首次发布 传播指数 48

文本生成人体动作模型 MotionSpaceFlow 开源。模型大小约 1.1GB,可在消费级 GPU 上运行。最值得关注的是,它无需额外微调,即可在推理时固定任意关节在特定时间点的位置,让 AI 围绕这个限制自动生成动作。

图:yu1ut.com

MotionSpaceFlow(简称 MSFlow)是一个轻量级的文本生成人体动作模型。你只要输入一段自然语言描述,它就能生成对应的 3D 人体动作骨骼动画,更关键的是,它允许你在推理阶段直接锁死任意关节在特定时间点的位置。

这意味着你不仅能让角色动起来,还能给它划定物理边界。

它能做什么

常规的文本生成动作,输入「一个人用左腿高踢」或「一个人四肢着地向前爬行」,模型能顺利输出对应动画。MSFlow 还能处理更复杂的连贯指令,比如侧手翻、慢跑后急停,甚至是模仿僵尸踉跄行走的细节。

它的杀手锏在于空间控制。以往用文本控制动作生成,AI 经常会「自由发挥」,手脚容易穿模或偏离目标位置。

MSFlow 引入了投影采样机制。你可以明确指定某个人体关节在某一帧必须落在绝对坐标的某个点上,比如要求角色在第 30 帧时右手必须摸到某个特定高度。模型会在生成过程中强制满足这一几何约束,并自动补全全身其他关节的协调过渡,不需要针对特定控制任务进行专门训练。

为什么能精准锁住关节

市面上大多数扩散或流匹配动作模型,都习惯先把运动数据通过自动编码器压缩到低维的潜在空间。这种做法虽然省算力,但时间分辨率被降采样拉低了,而且潜在空间的向量缺乏明确的几何含义,很难在生成中途精准微调某一帧的单个关节。

MSFlow 放弃了编码器和解码器,直接在全分辨率的连续动作空间中运行流匹配。

为了处理不同格式的骨骼数据,研发团队设计了多模态扩散 Transformer(RA-MMDiT)。当处理帧间相对变化的增量特征时,模型采用因果注意力保证时序前后连贯;当处理全局三维坐标时,则切换为双向注意力,统筹全身动作在全局空间中的协调性。

正因为模型直接输出真实的三维坐标,系统才能在采样步骤中直接将特定关节投影到指定位置,实现零样本的精确控制。

规格与如何上手

模型本身的体积非常轻便,在 Hugging Face 上的权重文件大约只有 1.1GB,普通消费级显卡就能轻松拉起推理。

目前开源仓库包含了完整的推理演示、预训练模型权重、训练代码以及评测脚本。开发者可以通过 uv 快速安装依赖环境,仓库内也直接提供了单个 GPU 依次生成踢腿、行走、侧手翻等控制演示的自动化脚本。

需要留意的是,该项目由 LY Corporation 研究人员开发,仓库声明中注明为研究性质的「临时开源」,未来有转为只读或私有仓库的可能。代码目前以 CC0 1.0 协议发布,部分评测流程依赖外部数据集与第三方工具,上手部署前需要按文档手动下载对应资源。

为什么重要

对于独立游戏开发者、3D 动画师以及影视特效人员来说,MSFlow 提供了一个极其实用的快速原型工具。以往纯靠文本生成的动作资产很难直接进项目,因为无法精准匹配场景中的交互道具;MSFlow 允许锁死关键帧关节,让文本生成的动作终于具备了工业交互的可能性。

从技术思路上看,这项工作证明了在运动生成领域,绕开潜在空间直接在原生坐标空间做流匹配完全可行,甚至在控制粒度和细节保真度上更具优势。只要硬件显存允许,省去编解码器的设计让动作生成摆脱了压缩失真的瓶颈,未来很可能会成为精细化人体动力学生成的参考范式。

来源 (2)

  1. [1]
    yu1ut.com(在新标签页打开)原文yu1ut.com
  2. [2]

每日 AI 内容精选