1本の通常動画から4Dキャラを生成　オープンソース「4DAnyone」公開

4DAnyoneは、スマートフォンなどで撮影した一般的な単眼の人物動画から、自由な視点で観察できる4Dキャラクタモデルを再構築するオープンソースプロジェクトです。

動画を1本入力するだけで、時間軸に沿って動き続ける人物を4D Gaussian Splatting（4DGS）形式のインタラクティブな3Dアセットへと変換できます。体型や服装を問わず、様々な人物の動作に対応します。

単眼動画から一貫した多視点を生み出す仕組み

これまでもReCam MasterやTrajectory Crafterといったモデルが存在しましたが、視点数を増やすとキャラクターの形状が崩れたり、視点間で外見が破綻したりする課題がありました。高品質な4DGS再構築には数十もの視点が必要なため、既存手法では処理が追いつかなかったのが実情です。

4DAnyoneはまず、入力動画から人物の3D骨格情報を抽出します。この骨格ガイドを土台として、拡散モデルが未知の新規視点映像を生成していきます。

その際、過去の参照視点を一定の長さに圧縮する「Reference Context Packing（RCP）」と、ノイズ除去の段階ごとに視点グループを入れ替えて構造の破綻を防ぐ「Target Context Routing（TCR）」を導入しました。これにより、計算コストを抑えつつ視点間の整合性を維持することに成功しています。

オープンソースの構成と動作要件

本モデルの学習には、独自にゲームエンジンで構築した「MVGameHuman」データセットをはじめ、ライトステージ撮影や実世界動画が使用されています。DNA-RenderingやDyMVHumansといった公開データセットによる検証でも、従来の最先端手法を上回る視点再現性と再構築品質を記録しました。

プロジェクトはGitHub等で全リソースを公開しており、ソースコード、ローカル実行ガイド、そして約12GBのモデルチェックポイントがダウンロード可能です。

撮影自体はキャリブレーション不要の一般的な単眼カメラ動画で構いませんが、モデルサイズが約12GBあるため、ローカルで実行するには十分なVRAMを備えたGPUが必要となります。

なぜ重要か

ゲーム制作のプロトタイプ作成やVFX、VTuberアバターなどの分野において、今すぐ検証する価値があるツールです。従来、動的な人物の3次元キャプチャには多数のカメラを備えた特殊なスタジオが必要でしたが、手元の動画1本から同等の4Dアセットを取り出せる利便性は際立っています。

ただし、見えない背面のディテールなどは拡散モデルの推論に頼っているため、極端に激しい動きや遮蔽の多い場面では形状の乱れが生じる可能性もあります。それでも、オープンソースで手元に導入できる4D人物生成環境としては、現時点で最も完成度の高い選択肢といえます。