Wonder Dynamics、ブラウザ上で実写をCGキャラに置き換える「Wonder Studio」発表

実写映画にリアルなCGキャラクターを合成する作業は、これまで膨大な予算と大所帯のVFXスタジオを抱える大手映画会社だけの特権でした。専用のモcapスーツを着せ、グリーンバックで撮影し、1秒あたり数万ドルのコストをかけるのが当たり前だったからです。

米スタートアップのWonder Dynamicsは3月8日、Webブラウザ上でCGキャラクターの差し替えを完結させる新プラットフォーム「Wonder Studio」を発表しました。映画『レディ・プレイヤー1』で主演を務めた俳優タイ・シェリダンと、VFXアーティストのニコラ・トドロヴィッチが共同創業し、3年の開発期間を経て公開に漕ぎ着けました。

モキャプスーツ不要で本格CG合成

Wonder Studioの最大の特徴は、単一のカメラで撮影した通常の映像から自動で必要なデータをすべて抽出できる点です。

ユーザーが動画をアップロードすると、AIが画面内の俳優を認識し、体や手、表情の動きをフレーム単位でモーショントラッキングします。同時に、俳優自身を背景から自動で消去してクリーンプレートを生成し、現場のカメラワーク、照明の方向や色温度、フィルムグレアまで解析します。

後はあらかじめ用意されたCGキャラクターや、ユーザー自身がアップロードしたFBXモデルをドラッグ＆ドロップするだけで、俳優が完全にCGキャラクターへと置き換わります。

単に完成映像を出力する簡易フィルターとは異なり、モーショントラッキングデータ、マスク素材、Blenderのシーンファイルなど、プロの現場で微調整できる生データをそのまま書き出せる点が本格的です。トドロヴィッチ氏は、既存のアーティストの作品を無断学習したAIではない点も強調しています。

すでに『アベンジャーズ』シリーズで知られるルッソ兄弟が、ミリー・ボビー・ブラウンやクリス・プラットが出演するNetflixの新作映画の制作でこのシステムを採用しています。

なぜ重要か

Wonder Studioのアプローチは極めて現実的で賢明だと考えられます。画像生成AIのようにクリエイターの表現そのものを代替しようとするのではなく、ロトスコープやトラッキングといったVFX制作における単調で時間のかかる作業の8割から9割を自動化することに徹しているからです。

インディーズ映画監督や中小の映像制作会社にとって、その恩恵は絶大です。従来は1秒2万ドルとも言われる莫大な費用がかかっていたCGキャラクター表現が、Webブラウザと一般的なカメラだけで手に入ります。本編の完成度をどこまで高められるかは今後の検証次第ですが、少なくとも企画段階のプリビズやパイロット映像の制作コストを劇的に引き下げるはずです。

業界全体にとっても、過重労働が問題視されているVFXスタジオの負担を軽減する有効なツールになる可能性があります。ただし、複雑な影の落ち方や激しいブレ、遮蔽物が多いカットでどこまで手作業の修正なしに通用するかは未知数です。現在はベータ版として無料プランも用意されているため、自主制作や映像制作に携わるクリエイターは今すぐ試す価値があります。