Motion4Motion 突破骨骼限制：连狐狸的动作都能迁给长颈鹿

想让一段跳舞视频换个主角，在过去几个月里已经不算难事，但前提基本一样：两个人得长得差不多，至少得有一套相通的人体骨骼。

一旦你想把一只狐狸跑跳的姿态，完整搬到一只脖子极长的长颈鹿身上，市面上大部分动作迁移工具就会当场抓瞎。原因很简单，它们太依赖预设的人体或动物骨架了。

研究团队发布了一项名为 Motion4Motion 的全新动作迁移框架，直接扔掉了传统骨骼模板这副拐杖。

扔掉骨骼，改盯像素流动

传统的动作迁移管线，基本上都在围绕骨骼结构打转。比如用 ControlNet 或其他姿态估计工具，先从原视频里抽出一根根火柴人式的骨架，再逼着目标角色套进去。

这种方法碰上体型接近的人类还行，一旦遇到跨物种迁移就彻底卡壳。现实世界里不同动物的形态千差万别，谁也找不到一套既能描述狐狸、又能套用在长颈鹿身上的通用骨骼。

再加上自然界各种生物的高质量配自动作数据极度匮乏，以前连 FlexiAct 这类前沿方案，也得为每个案例单独优化，稍不注意就会过拟合或者漏出破绽。

Motion4Motion 换了一条思路：既然骨骼对不上，那就干脆不看骨骼。它转向追踪源视频里的密集像素动作流（Motion Flow），把每个移动的像素点当成最底层的动作基元。

简单来说，它会在原视频里持续跟踪多个关键点，构建出一张连续的动态流向图。随后通过名为 TransPE 的模块，把这些点的位置与目标角色的外观特征进行对应，再把新轨迹注入视频生成模型，从而生成目标角色的动作。

即便狐狸和长颈鹿的身体比例天差地别，系统也能理顺彼此的对应关系，把动作顺畅地做出来。

完全免训练，推理时直接跑

更难得的是，Motion4Motion 是一个完全免训练（training-free）的方案。

它不需要在海量跨物种配对视频上花几周时间搞预训练，也不需要针对每段视频从头微调参数。所有映射和生成逻辑，都是在推理阶段即时完成的。

除了狐狸到长颈鹿这种极端的动物测试，它在常规的跳舞动作以及复杂多变的环境背景下，也展现出了极高的稳定性和迁移质量，表现明显优于此前的基线模型。

目前该项目已经在专属主页（lhchen.top/Motion4Motion/）上放出了演示与论文，代码与更多细节也在持续推进中。

为什么重要

在数字内容创作和动画特效行业里，骨骼绑定一直是一项费时费力、门槛极高的重活。

对独立创作者和小型动画团队来说，Motion4Motion 证明了跨物种动作迁移完全可以跳过繁琐的骨架设定。以后想让四足异兽做出一套复杂的拟人打斗，或者让各种幻想生物跳起街舞，创作者只需要一段参考动作视频，省去了从建模、绑骨到精细蒙皮的漫长流程。

对行业而言，它推翻了动作控制必须依赖 ControlNet 或姿态检测先验的固有路径。过去行业受困于异形骨骼训练数据少，现在通过纯视觉流追踪和推理期映射，直接绕过了数据瓶颈，这可能会启发下一代视频扩散模型开发出更灵活的控场方式。

我们认为，这项研究最聪明的地方在于抓住了运动的本质是像素在时空中的迁移，而不是冷冰冰的几何刚体。当然，它的隐患在于语义极其抽象时的对应偏差，比如椅子腿对四足动物。但无论如何，能让长颈鹿像狐狸一样跃动起来，视频生成在通用动力学控制上已经迈出了非常漂亮的一步。