跳到正文
IFAI

AI科研

PhyMotion 开源:把 3D 人体放进物理模拟器,专治 AI 视频动作变形

首次发布 传播指数 36

研究团队发布并开源 PhyMotion,专门解决 AI 视频里的肢体畸形与动作扭曲。它从生成视频中提取 3D 人体并放入 MuJoCo 物理模拟器打分,检验关节移动和接地是否合乎规律,以此奖励模型,显著改善了瑜伽、功夫等动作的真实度。

PhyMotion 开源:把 3D 人体放进物理模拟器,专治 AI 视频动作变形
图:arxiv.org

如果你经常用 AI 生成视频,大概率见过这种惊悚场面:屏幕里的人在练瑜伽或者打太极,动作做着做着,突然多出一条胳膊,或者脚掌悬空滑行,整个人像橡皮泥一样被扯变形。

目前的视频大模型在画风景、静物时已经很逼真,但只要碰上花样滑冰、武术这类高难度的复杂动作,解剖学逻辑就会迅速崩溃。说白了,模型根本不知道现实世界的力学和骨骼规律,只能靠像素猜测下一帧长什么样。

研究团队发布了一篇论文,并开源了名为 PhyMotion 的新工具,目标就是给视频模型装一个懂物理的质检员。

把 3D 假人扔进物理模拟器

传统的视频强化学习后训练主要靠 2D 视觉信号来打分。问题是,2D 画面很容易被骗,一个人物明明双脚悬空、关节反折,但在二维构图上看着挺顺眼,打分系统可能照样给出高分。

PhyMotion 的思路非常聪明。它不直接看 2D 像素,而是先从生成的视频里反推人体的 3D 结构(SMPL 模型),然后把这个人体骨架直接扔进知名的 MuJoCo 物理模拟器里。

进了物理引擎,AI 人体就必须接受现实规则的拷问。系统从三个维度给它打分:运动学是否合理、身体与地面的接触与平衡是否一致,以及动力学上是否行得通。

比如关节旋转的角度会不会把人扭骨折?双脚踩地的时候有没有产生合理的支撑力?动作推进时有没有莫名其妙的悬浮?通过这套评分系统,模型能明确知道究竟是哪一步动作违反了物理规律,并据此获得奖励信号。

盲测涨了 68 分 Elo

根据研究团队公布的数据,这种基于物理引擎的奖励信号,比传统的打分方案更能契合人类的真实感知。

将 PhyMotion 用于自回归和双向视频生成模型的强化学习后训练后,生成的动作真实度出现了明显提升。在人类盲测评估中,它相比基线模型取得了 68 分的 Elo 提升。

对于花样滑冰、瑜伽、功夫这类极易翻车的动作,应用了新机制的生成器明显减少了肢体缺失和凭空多肢的情况,手脚与地面的接触也踏实了许多。

当然它现在还不是百分之百完美,极端复杂的动作里偶尔依然会有细微瑕疵。不过研究人员已经将相关代码开源,并提供了本地下载和配置说明。

为什么重要

我们认为,PhyMotion 最有价值的地方在于指明了一条后训练的新路径:别让 AI 靠猜像素去学世界模型,直接把成熟的物理引擎拉进来当老师。

过去大家寄希望于靠海量视频数据暴力出奇迹,让模型自己悟出物理规律。但实践证明,数据再多,模型在处理极限运动和复杂接触时依然会露出破绽。PhyMotion 借用成熟的机器人仿真工具 MuJoCo 来约束生成结果,既没有增加过于沉重的训练开销,又精准切中了动作视频最致命的痛点。

对普通创作者和影视从业者来说,这项技术如果被 Runway、Sora 或者各大开源视频工具整合,意味着未来生成人物打斗、舞蹈、运动镜头时的废片率会大幅下降。那些诡异的关节扭曲和滑步漂移,终于有了系统性的解法。

对于行业来说,单纯卷画面分辨率的阶段已经过去了。接下来视频模型的竞争线,显然会转向 3D 空间一致性和物理动力学真实度,而仿真引擎很可能成为下一代视频生成基座的标配部件。

来源 (1)

  1. [1]

每日 AI 内容精选