Wonder Dynamics 推出动作预测:演员被挡住也能还原 3D 动作
Wonder Dynamics 推出 AI 模型 Motion Prediction,专门解决无标记动作捕捉中的遮挡难题。即使演员被障碍物遮挡或身体局部出画,模型也能自动补全连贯姿态并减少滑步,已集成至 Wonder Animation。
如果你用普通视频做过 3D 动作捕捉,肯定遇过这种让人想摔键盘的场面:演员走得好好的,突然被一根柱子挡了一下,或者跟另一个人擦肩而过,屏幕上的 3D 模型就开始疯狂抽搐,甚至直接断帧摆烂。
做无标记动捕的 Wonder Dynamics 最近更新了核心算法,上线了一个叫 Motion Prediction 的新 AI 模型,专门解决镜头被挡住的问题。
这个新模型已经塞进了 Wonder Animation 的 Video to 3D Scene 工作流里。它做的事情很纯粹:就算画面里的演员被道具遮住半边身子,或者整个人短暂走到了掩体后面,AI 也能根据前后的动作惯性,把缺失的动作脑补出来。
藏在遮挡物后面的动作,全靠算法脑补
传统的视觉动捕高度依赖像素,只要摄像头看不见关节,骨骼跟踪基本就瞎了。Motion Prediction 的思路是把时间轴上的运动连续性拉长,分成了几种具体的补救场景。
第一种是局部遮挡。当演员坐在桌子后面,或者身体一部分被前景物体挡住时,算法会推测被遮挡关节的朝向和位置,保证骨骼不会因为某一帧看不到手脚就突然折断。
第二种是短时间的完全遮挡。比如演员从一根柱子、一扇门或者另一位演员背后走过去,整个人会消失几帧到十几帧。新模型在这个短时间窗口内,会根据进出遮挡前后的速度与姿态,生成连贯过渡的动作,避免模型在遮挡结束时瞬间瞬移。
救回特写镜头,顺便治好了滑步与抽搐
另外两个修补点直击动画师的日常痛点。
一个是画幅外的腿部预测。实拍里经常有中景或特写镜头,摄影机只拍腰部以上,演员的腿和脚根本不在画面里。以往这时候动捕出来的下半身通常是一团糟,新模型则专门强化了特写镜头下对下半身姿势的估算。结果不仅能把腿部姿势对上,还改善了脚掌与地面的接触判定,减轻了 3D 角色在场景里常见的滑步问题。
另一个是降噪。AI 动捕经常会有细碎的高频抖动,比如手指突然痉挛或者肩膀轻微抽搐。新模型压制了这些无意义的噪点,让导出的骨骼动画更平滑。
为什么重要
对于个人独立创作者和小特效团队来说,这个更新非常实用。
以前做无标记动捕,机位和演员走位要像伺候祖宗一样小心翼翼,一旦有遮挡就得人工进 Maya 或 Blender 里一帧帧擦除重修,返工成本极高。现在直接拿日常拍摄的实景素材跑动捕,容错率高了一大截,省下来的几乎全是最磨人的清骨骼时间。
在行业层面,这看起来是无标记动捕向传统穿戴式动捕领地发起的又一次侵蚀。传统动捕棚搭一套光学标记点系统不仅贵得离谱,而且必须在受控环境里穿紧身衣;基于视觉的纯视频动捕最大的短板就是怕遮挡、怕出画。Wonder Dynamics 把预测模型填进来,相当于用算法在弥补单视角摄影机的物理缺陷。
不过我们认为,这种纯靠运动学推算的补帧方案也有其天然隐患。对于走路、跑步这种周期性强、规律明显的常规动作,AI 的脑补通常很准;但如果演员在遮挡物背后做了一个出人意料的即兴动作,比如突然弯腰或者转身,算法预测出来的轨迹大概率就会跟实情脱节。它解决了基础动画的可用度,但真要抠复杂表演细节,后期还是少不了动画师手动介入。
来源 (1)
- mailchi.mp(在新标签页打开)原文mailchi.mp