UniSH公開：動画1本から3D背景と動く人物を一度の推論で同時復元

UniSHは、通常の動画1本から3D背景シーンと動く人物の姿勢を同時に復元できるオープンソースのフレームワークです。単一の順伝播処理によって、背景と人物のメッシュをワンパスで出力します。

何ができるのか

普段スマートフォンなどで撮影した動画を入力するだけで、UniSHは4つの要素を同時に予測します。背景シーンの3D点群、カメラの軌跡とパラメータ、実寸スケールに対応した動的なSMPL人体メッシュ、そして人体そのものの詳細な点群です。

すべての要素が同一の座標系で統合して処理されるため、人物が床から浮いたり背景にめり込んだりする破綻が大幅に抑えられます。

激しい手ブレがあるカメラワークや、被写体が複雑に動くシーンであっても安定した出力を保ち、復元された動的空間をあらゆるアングルから自由に確認できます。

どのような仕組みか

これまでの3D復元技術は、背景の復元と人体の姿勢推定が別々に扱われるのが一般的でした。さらに実世界の3D教師データが極めて少ないため、合成データだけで学習したモデルは実写映像で精度が大きく落ちるという課題がありました。

UniSHは、動画ごとに数分から数十分かけて繰り返し計算する最適化処理を行わず、一度の推論で結果を出すフィードフォワード構成を採用しています。

実写データへの適応力を高めるため、2つの仕組みが導入されました。

1つ目は高周波特徴の蒸留です。専門の深度推定モデルから細部の幾何情報を蒸留し、人体の表面ディテールを精密に整えます。

2つ目は2段階の教師あり学習です。まず合成データで大まかな空間位置関係を学習させた後、ラベルのない実写動画を用いてファインチューニングを行います。SMPLメッシュと人体点群の幾何学的な対応関係を直接最適化することで、教師データなしでも実世界動画への適応を可能にしました。

導入手順

コードはGitHubで公開されており、プロジェクトページにはオフライン環境でのインストール手順と実行ガイドが用意されています。

リポジトリをクローンして依存関係を整えれば、手持ちの動画を読み込ませてローカル環境で推論を実行できます。

なぜ重要か

ゲーム制作、XRコンテンツ開発、ロボットの空間知覚に携わる開発者にとって、背景スキャンとモーションキャプチャを別々に実行して手作業で位置合わせする作業は大きな負担でした。UniSHはそのパイプラインを1つにまとめられる可能性を示しています。

反復計算を必要としないフィードフォワード方式による処理速度の速さも魅力です。人物が動く実写映像から手軽に3Dアセットを抽出したいなら、試してみる価値は十分にあります。