Motion 3-to-4：单目视频直接转 4D 动态物体，角色动作还能迁移

Motion 3-to-4 是一个开源的 4D 生成框架，能直接把一段普通的单视角单目视频，转成高质量、时间上连续的 4D 动态物体。除了从二维视频重建完整的三维几何运动，它还支持把提取出来的角色动作迁移到其他视频中。

在计算机视觉里，从单一视角的视频做 4D 生成一直是个硬骨头。最大的痛点在于训练数据稀缺，而且只凭一个镜头角度，很难分清形变到底是物体的真实几何结构，还是观察视角的运动伪影。

把 3D 形状与动作拆开做

Motion 3-to-4 解决这个问题的思路很直接：它没有试图一揽子直接生成时空体，而是把 4D 合成拆解成静态 3D 形状生成和运动重建两个独立环节。

在输入一段单目视频后，用户还可以提供一个可选的 3D 参考网格。模型依托规范的参考网格，去学习一套紧凑的运动潜在表征。

接着，模型通过预测每一帧的顶点运动轨迹，来还原完整且具有时序一致性的几何形状。这种把几何体和顶点运动轨迹剥离的机制，正是它能够把动作单独提取并迁移到其他视频里的关键。

应对不同长度的 Transformer

视频长度各不相同，以往的模型往往很难适应长短不一的时序输入。Motion 3-to-4 引入了一个可扩展的逐帧 Transformer 架构，专门用来提升对多变序列长度的鲁棒性。

在评估环节，研究团队不仅在现有的标准基准上进行了测试，还构建了一个带有精确几何真实标签的新数据集。测试结果显示，比起以往的研究方案，Motion 3-to-4 在几何保真度和空间一致性上都有明显提升。

目前该项目已经公开了研究论文，并上线了项目主页展示技术细节和合成效果。

为什么重要

以往想要获得一段高质量的 4D 角色动作，往往需要多机位摄影棚采集或昂贵的光学动捕设备。Motion 3-to-4 证明了仅凭手机拍摄的一段普通单视角视频，配合前馈网络，也能抽离出稳定的时序 3D 网格轨迹。

对 3D 创作者和游戏开发者来说，这套工具最具吸引力的地方在于「解耦」。把动作和静态外观分开之后，创作者不仅能重建 4D 素材，还能低成本复用视频里的动态姿态，给数字资产制作省下大量手动绑骨骼的时间。

不过，单目重构毕竟存在天然的遮挡盲区，复杂大幅度动作的背面网格仍然依赖先验补全。它更适合当作动捕辅助与资产快速原型的工具，值得需要做 3D 角色动画和视效实验的开发者跟进尝试。