Wonder Dynamics 推出動作預測:演員被擋住也能還原 3D 動作
Wonder Dynamics 推出 AI 模型 Motion Prediction,專門解決無標記動作捕捉中的遮擋難題。即使演員被障礙物遮擋或身體區域性出畫,模型也能自動補全連貫姿態並減少滑步,已整合至 Wonder Animation。
如果你用普通影片做過 3D 動作捕捉,肯定遇過這種讓人想摔鍵盤的場面:演員走得好好的,突然被一根柱子擋了一下,或者跟另一個人擦肩而過,螢幕上的 3D 模型就開始瘋狂抽搐,甚至直接斷幀擺爛。
做無標記動捕的 Wonder Dynamics 最近更新了核心演算法,上線了一個叫 Motion Prediction 的新 AI 模型,專門解決鏡頭被擋住的問題。
這個新模型已經塞進了 Wonder Animation 的 Video to 3D Scene 工作流裡。它做的事情很純粹:就算畫面裡的演員被道具遮住半邊身子,或者整個人短暫走到了掩體後面,AI 也能根據前後的動作慣性,把缺失的動作腦補出來。
藏在遮擋物後面的動作,全靠演算法腦補
傳統的視覺動捕高度依賴畫素,只要攝像頭看不見關節,骨骼跟蹤基本就瞎了。Motion Prediction 的思路是把時間軸上的運動連續性拉長,分成了幾種具體的補救場景。
第一種是區域性遮擋。當演員坐在桌子後面,或者身體一部分被前景物體擋住時,演算法會推測被遮擋關節的朝向和位置,保證骨骼不會因為某一幀看不到手腳就突然折斷。
第二種是短時間的完全遮擋。比如演員從一根柱子、一扇門或者另一位演員背後走過去,整個人會消失幾幀到十幾幀。新模型在這個短時間視窗內,會根據進出遮擋前後的速度與姿態,生成連貫過渡的動作,避免模型在遮擋結束時瞬間瞬移。
救回特寫鏡頭,順便治好了滑步與抽搐
另外兩個修補點直擊動畫師的日常痛點。
一個是畫幅外的腿部預測。實拍裡經常有中景或特寫鏡頭,攝影機只拍腰部以上,演員的腿和腳根本不在畫面裡。以往這時候動捕出來的下半身通常是一團糟,新模型則專門強化了特寫鏡頭下對下半身姿勢的估算。結果不僅能把腿部姿勢對上,還改善了腳掌與地面的接觸判定,減輕了 3D 角色在場景裡常見的滑步問題。
另一個是降噪。AI 動捕經常會有細碎的高頻抖動,比如手指突然痙攣或者肩膀輕微抽搐。新模型壓制了這些無意義的噪點,讓匯出的骨骼動畫更平滑。
為什麼重要
對於個人獨立創作者和小特效團隊來說,這個更新非常實用。
以前做無標記動捕,機位和演員走位要像伺候祖宗一樣小心翼翼,一旦有遮擋就得人工進 Maya 或 Blender 裡一幀幀擦除重修,返工成本極高。現在直接拿日常拍攝的實景素材跑動捕,容錯率高了一大截,省下來的幾乎全是最磨人的清骨骼時間。
在行業層面,這看起來是無標記動捕向傳統穿戴式動捕領地發起的又一次侵蝕。傳統動捕棚搭一套光學標記點系統不僅貴得離譜,而且必須在受控環境裡穿緊身衣;基於視覺的純影片動捕最大的短板就是怕遮擋、怕出畫。Wonder Dynamics 把預測模型填進來,相當於用演算法在彌補單視角攝影機的物理缺陷。
不過我們認為,這種純靠運動學推算的補幀方案也有其天然隱患。對於走路、跑步這種週期性強、規律明顯的常規動作,AI 的腦補通常很準;但如果演員在遮擋物背後做了一個出人意料的即興動作,比如突然彎腰或者轉身,演算法預測出來的軌跡大機率就會跟實情脫節。它解決了基礎動畫的可用度,但真要摳複雜表演細節,後期還是少不了動畫師手動介入。
來源 (1)
- mailchi.mp(在新分頁開啟)原文mailchi.mp