Metaが「ShapeR」を公開：撮影動画から実寸大の独立した3D物体を個別に復元

Metaが公開した「ShapeR」は、スマートフォンなどで撮影した動画や連続写真から、空間内の物体を実寸大の独立した3Dメッシュとして個別に復元するフレームワークです。

従来のNeRFや3Dガウシアンスプラッティングでは、空間全体が1つの塊として固まってしまい、椅子だけを動かしたり、机の上のカップだけを抜き出してゲームエンジンに取り込んだりすることが困難でした。ShapeRはこの編集性の課題を解消します。

物体を個別に切り出す仕組み

ShapeRは空間全体ではなく、物体中心のアプローチをとります。特別なセンサーは不要で、一般的な動画を入力として処理できます。

まず既存のSLAM技術を使ってカメラの軌跡と疎な3D点群を算出し、同時に3Dインスタンス検出で空間内の物体を特定します。特定された物体ごとに、関連する多視点画像、2D投影情報、SLAM点群、そしてVLMによるテキスト説明を抽出します。

これらのマルチモーダル情報を条件として、Rectified Flow Transformerモデルが潜在空間でノイズを除去し、各物体の独立した3Dメッシュを生成します。複数の視点情報とSLAM点群で空間座標を拘束するため、生成された各モデルは現実世界の正しいサイズと配置を正確に保ちます。

単一画像から生成する従来手法で頻発していた、物体の縦横比が歪んだりサイズが狂ったりする問題が起きません。

オープンソース公開と動作環境

興味深い点として、ShapeRはすべて合成データ（Aria Synthetic Environment）のみで学習されています。現実の雑然とした背景、オクルージョン、点群ノイズをシミュレートするデータ拡張とカリキュラム学習を取り入れることで、実世界への汎化性能を高めています。

追加のファインチューニングなしで実環境データセットScanNet++の物体を復元できるほか、MapAnythingなどのツールと組み合わせれば単一画像からの実寸大生成にも対応します。さらにSAM 3Dと組み合わせることで、ShapeRの正確な配置とSAM 3Dのリッチなテクスチャを融合させることも可能です。

現在、GitHubとプロジェクトページでコード、モデル重み、フォーマット仕様、および検証用データセットが公開されています。データセットには、遮蔽や散らかりを含む7つの実環境シーンと178個の完全な3Dアノテーションが含まれています。

なぜ重要か

3Dアセット制作やゲーム開発、ロボティクスのシミュレーション環境構築に関わる人にとって、手元の動画から実寸大の編集可能なアセットをそのまま引き抜ける実用的なツールです。

従来の生成AIは見た目のリアルさを重視するあまり物理的なスケールが曖昧になりがちでしたが、幾何学的なSLAMの正確さと生成モデルの形状補完能力をうまく両立させています。空間ビデオを編集可能なデジタルデータへと変換する手段として、今後様々なパイプラインに組み込まれそうです。