Wonder Dynamics、複数カメラの動画から3Dアニメシーンを自動生成する新ツール

3Dアニメーションや実写VFXのプリプロダクションにおいて、カメラワークやキャラクターの動きを検証するプリビズ（事前視覚化）は、膨大な時間とコストがかかる工程でした。

オートデスク傘下の米Wonder Dynamicsは10月30日、複数のカメラで撮影した通常の実写動画から、完全に編集可能な3Dアニメーションシーンを直接構築できる新機能「Wonder Animation」を発表しました。

Wonder Studioのユーザーであれば、本日からベータ版として利用可能です。

俳優の差し替えから、3D空間全体の再構築へ

同社はこれまで、動画内の実写アクターの動きを捉え、CGキャラクターへと自動で置き換える「Wonder Studio」で映像業界から高い評価を得てきました。

今回のWonder Animationは、そのアクター置換技術に加え、指定したフルスケールの3D背景空間を組み合わせることで、シーン全体を三次元化します。

最大の特徴はマルチカメラ撮影に対応している点です。複数のカメラで同じ演技を撮影すると、システムが足の移動量や空間データを推定し、実世界のカメラの動きに追従する仮想カメラを3D空間内に自動配置します。

共同創業者のNikola Todorovic氏は、リビングルームで好みの演技やカメラアングルで撮影・編集し、それを迅速なプリビズとして出力した上で、Blender、Maya、Unreal Engineで個別の要素を編集できる環境を目指したと述べています。

生成AIのブラックボックスを排し、編集可能な3Dアセットを出力

このアプローチは、現在主流となっているテキストから動画を生成するAIモデルとは大きく異なります。

一般的な生成動画はピクセル情報として固定されてしまうため、特定のアングルを変えたり、照明を調整したりといった微小な修正が困難です。

一方、Wonder Animationが出力するのは業界標準の3Dアセットです。カメラの位置をドラッグして動かしたり、キャラクターのモーションを修正したり、シーン全体のライティングをやり直したりといった作業が自由に行えます。

なお、同社は本機能について完成品の映像を出力するものではなく、あくまでプリビズや物語の流れを検証するためのベースレイヤーを提供する位置づけだと明言しています。

なぜ重要か

小規模な制作スタジオやインディー映像作家にとって、専用のモーションキャプチャ設備や高価な機材なしに、スマートフォン数台の撮影からMayaやUnreal Engineに持ち込める3Dシーンを作れる価値は絶大です。撮影現場に入ってからアングルのミスに気づくリスクを劇的に減らせます。

業界全体で見れば、オートデスクがなぜWonder Dynamicsを早期に買収したのか、その理由を証明する一手と言えます。生成動画AIが話題を集める一方で、プロの現場では制御不能なピクセルよりも、既存のパイプラインで手作業による修正が利く3Dデータが不可欠だからです。

完成品の生成にこだわらず、プリビズの自動化という最も手間のかかる工程にAIを充てた判断は極めて合理的だと考えられます。ただし、現在はまだベータ版であり、遮蔽物が多い環境や複雑な足元の接地判定において、どこまで破綻せずに追従できるかは実務での検証が必要です。