Mocap Anything v2 开源：普通单目视频直接生成可动画 3D 骨骼

给 3D 角色做动作捕捉，过去要么得穿一套昂贵的动捕服，要么得在多机位摄影棚里折腾大半天。要是想给四足动物、怪兽或者长着翅膀的异形生物做动作，基本只能全靠动画师一帧一帧手捏。

动作捕捉模型 Mocap Anything v2 正式开源。它最大的亮点在于，只要随手拍一段普通的单目视频，就能把里面正在活动的任何物体，变成可以直接套进 3D 角色里的干净骨骼动画。

不管是真人、猫狗，还是长着奇怪肢体的虚构角色，它都能直接把动作套上去，而且代码和训练脚本都已经发布在 GitHub 上。

告别两阶段，把 IK 变成可学习的端到端

单目视频动捕以前并不是没人做，但老系统的流程通常被拆成两步。

第一步先看视频，猜测肘部、膝盖这些关节的三维坐标；第二步再靠传统不可微的解析反向运动学（IK）算法，把空间位置反推成骨骼的旋转角度。

问题在于，光知道关节位置，根本无法完全确定旋转。比如手臂伸直时骨骼绕着自身轴线的旋转角度，解析算法根本猜不准，加上第二步无法反向传播训练，模型没办法纠错，最终动画里就会经常出现关节反向扭曲、疯狂抖动这类刺眼的伪影。

Mocap Anything v2 是第一个把位置预测与旋转生成完全打通的端到端框架。它发现旋转映射之所以有歧义，是因为缺乏坐标系基准。于是研究团队为目标资产引入了一对参考姿态与旋转，顺带锚定了初始静止姿势（rest pose），把旋转预测变成了一个边界清晰的条件问题。

与此同时，模型抛弃了繁琐的中间三维网格，直接从视频预测关节，并让两个阶段共享骨骼感知的全局-局部图引导多头注意力模块（GL-GMHA）。

这套机制带来的提升非常直观。在 Truebones Zoo 和 Objaverse 测试集上，它的旋转误差从旧方案的约 17 度大幅压到了约 10 度，在完全没见过的全新骨骼上甚至达到了 6.54 度；由于不需要生成中间网格，推理速度比同类网格管线快了约 20 倍。

为什么重要

对独立创作者和小型工作室来说，非人生物的动捕成本被彻底打穿了。

以往做一匹马奔跑或者怪物打斗，要么花大价钱租专业动捕棚，要么在关键帧上耗费几周时间。现在只要在网上找一段清晰的野生动物实拍甚至现成素材，就能直接扒出干净可用的旋转骨骼，导入 Blender 或 Maya 就能套绑。

对行业而言，以往很多 AI 视频转动作工具都停留在「看着还行」，一旦导进游戏引擎就会因为关节翻转而直接穿模。Mocap Anything v2 通过端到端训练直接优化最终的骨骼旋转，算是在可用性和生产力之间迈出了结实的一步。

我们认为它的聪明之处在于务实：它没有盲目追求复杂的全网格重建，而是抓住游戏和动画流水线最底层依赖的「骨骼旋转」做深度优化，既省了算力又提了精度。虽然目前想要完美映射，依然需要使用者准备目标资产的静止姿态与参考数据，对纯小白仍有一定门槛，但它已经开源了完整代码与训练脚本，绝对值得动画和游戏开发者第一时间拉下来体验。