Tencentが「VerseCrafter」発表：1枚の画像からBlenderでカメラと物体の軌跡を操作できる動画生成モデル

動画生成AIで思い通りのカメラワークを作ろうとして、プロンプトに「右へパンしながら車が直進」と何度入力しても画面が歪んで終わる――そんな経験をしたクリエイターは少なくないはずです。

Tencentなどの研究チームが発表した「VerseCrafter」は、そのもどかしいガチャプレイに終止符を打つ可能性を秘めた動画生成ワールドモデルです。1枚の静止画から3D空間を再構築し、3D制作ソフトのBlender上でカメラや物体の動きを直感的に配置するだけで、指定した軌跡通りの高精度な動画をWan2.1ベースで生成できます。

1枚の絵をBlenderのステージに持ち込む仕掛け

従来の画像から動画を生成する手法は、プロンプトによる曖昧な誘導に頼るケースが大半でした。VerseCrafterはこれを根本から変え、明確な幾何学的コントロールを組み込んでいます。

仕組みとしては、まず入力された1枚の画像に対し、MoGeで深度を推定し、SAM 2で前景の物体をセグメンテーションします。これらを組み合わせて背景と物体の3D点群を作り出し、動かしたい対象を3D Gaussianの軌跡として扱います。

最大の特徴はBlenderとの連携です。提供されるプラグインを使うことで、ユーザーはBlenderのビューポート上でカメラのパスを引いたり、複数の物体を動かす軌跡をタイムラインに沿って設定できます。この軌跡データはフレームごとの幾何制御マップとして書き出されます。

ベースモデルにはオープンソースのWan2.1を採用していますが、重みは完全に凍結（フリーズ）されています。これによりWan2.1が持つ高い質感描写を損なわず、軽量な「GeoAdapter」がゼロ初期化の残差接続を通じて拡散モデルの各ブロックに幾何情報を注入します。YuMeやUni3Dといった既存の視点変更手法と比べても、破綻の少なさと一貫性で高い安定性を発揮すると報告されています。

学習には、完全な幾何アノテーションを持つ独自データセット「VerseControl4D」を使用しています。収録された訓練用3万5000クリップと検証用1000クリップは、Sekai-Real-HQ（26%）とSpatialVID-HQ（74%）から構成され、そのうち約2割は純粋なカメラワーク評価用の静止シーンとなっています。

現時点での制約と課題

とはいえ、VerseCrafterも万能ではありません。研究チームは論文中でいくつかの制約を率直に認めています。

ひとつは物体の向きの解像度です。現状の物体制御は楕円体の主軸に基づいた大まかな向きの制御にとどまっており、完全な6DoFの姿勢制御ではありません。車のような細長い剛体には十分機能しますが、断面が円に近い人間のような被写体では正面と背面の判定が曖昧になり、進む方向と顔の向きがチグハグになる場合があります。

もうひとつは背景の変形です。背景点群は第1フレームから作成された静的な足場であるため、時間経過による背景自体の非剛体変形はモデル化されていません。滝の水しぶきや風に揺れる水面のようなテクスチャ主導の細かい動きは、3Dから2Dへ投影した際の拘束が弱く、カメラや物体の剛体運動に比べると再現性が落ちることがあります。

なぜ重要か

動画生成AIは今、「どれだけ綺麗な絵が出るか」から「どれだけ演出意図通りに動かせるか」という実用化のフェーズに入っています。VerseCrafterの最大の強みは、クリエイターが長年使い慣れたBlenderのUIをそのままAI動画の演出コントローラーに変えてしまった点にあります。

絵コンテ制作やゲームのプリビズにおいて、カメラレールを敷き、役者の立ち位置を指定してボタンを押せば、整合性の取れたプレビュー動画が手に入る価値は計り知れません。同じ動的シーンを2つの視点から独立して破綻なく生成できる点も、マルチカメラ撮影やゲーム演出にとって大きな武器になります。

Wan2.1の本体を凍結したまま軽量アダプタで幾何制御を追加する設計も極めて実用的です。膨大な計算コストをかけて基礎モデルを再学習することなく、後付けで高精度なコントロールを付与できる道筋を示しました。人体ディテールの向きなど残された課題はあるものの、動画AIを真の「制作ツール」へと進化させる重要なステップと言えます。