Wonder Dynamicsが動作予測モデル発表：遮蔽時も3Dモーションを補完

実写映像から 3D キャラクターのアニメーションを生成する際、最大の壁となってきたのが「遮蔽」です。役者が柱の影に隠れたり、別の人物とすれ違ったりした途端、トラッキングが外れて 3D モデルの手足が激しくブレてしまう問題は、制作現場の大きな悩みでした。

AI によるマーカーレス動体キャプチャを展開する Wonder Dynamics は、この問題を解決する新モデル「Motion Prediction」を発表しました。

同機能は、Wonder Animation の「Video to 3D Scene」ワークフロー内で提供されます。役者の体の一部や全身が遮蔽物によって隠れてしまった場合でも、前後の動きから自然なポーズを正確に予測し、欠損したモーションデータを補完します。

見えない手足をアルゴリズムが推測する

新モデルの核となるのは、遮蔽発生時の挙動を滑らかにつなぐ複数の推論機能です。

まず「ポーズ予測」では、役者が家具や小道具の背後にいて体の一部が見えない状態でも、隠れた関節の位置を予測してモーションの連続性を維持します。

さらに「短時間の完全遮蔽推定」により、役者が柱や他の人物の背後を完全に通過するような短い空白時間でも、不自然なジャンプを起こさず自然な遷移アニメーションを補完できるようになりました。

クローズアップ時の足の滑りを抑制

実写撮影で頻繁に発生する画角外の動きにもメスが入りました。

役者の上半身だけを映すクローズアップショットでは、カメラの外にある下半身のポーズ精度を向上させました。これにより、3D 空間でキャラクターの足が地面を滑る現象が抑えられ、接地感が大幅に改善しています。

あわせてノイズリダクション処理も強化され、AI キャプチャ特有の細かな震えや痙攣のような不要な揺れを低減しています。

なぜ重要か

個人クリエイターや小規模な VFX スタジオにとって、このアップデートは手作業の修正コストを劇的に削る実用的な進化です。

従来のマーカーレス動体キャプチャでは、遮蔽や見切れが起きるたびに Maya や Blender などのツールで手作業によるキーフレーム修正が必要でした。撮影素材の制約が緩くなり、日常的な映像クリップをそのまま高品質な 3D 骨格データに変換できる確率が高まります。

業界全体で見れば、光学スーツや専用スタジオを必要としない純粋な映像ベースのキャプチャ技術が、本格的なプロダクション基準へと着実に近づいていることを示しています。単一カメラの物理的な死角を AI の予測能力で補うアプローチは合理的です。

ただし、純粋な予測モデルには限界もあると考えられます。歩行のように予測しやすい直線的な動きであれば自然に補完できますが、遮蔽の裏で役者が不規則なフェイントや急な屈伸を行った場合、アルゴリズムの予測が実態と乖離するリスクは残ります。ベースデータの修正負担は確実に減るものの、細部の演出確認には依然として人間の目線が欠かせないでしょう。