VASTがMira-Sceneをオープンソース化：単一画像から編集可能な3Dシーンを構築

Mira-Sceneは、1枚の通常画像から編集可能な3Dシーンを丸ごと再構築できるオープンソースの生成パイプラインです。

従来の画像から3D空間を作るアプローチでは、物体のサイズ比率が狂ったり、元画像のパースからずれたりする課題がつきまとっていました。Mira-Sceneは密なピクセル単位のアライメント復元を組み込むことで、元画像と寸分違わぬレイアウトを再現します。

何ができるのか

画像を1枚入力するだけで、Mira-Sceneは写っている物体を自動で個別のインスタンスに分離し、それぞれ独立した3Dメッシュを生成して正確な位置に再配置します。

出力された空間は単一の固まったモデルではなく、物体ごとに独立したメッシュ構造になっています。そのままBlenderにインポートして特定の家具だけを動かしたり、物理エンジンに接続してロボットの学習用シミュレータとして活用できます。

仕組みと精度

Mira-Sceneは、インタラクティブなセグメンテーションと深度推定、Mira-CCMによる正準座標・ボクセル予測、個別メッシュ生成、シーン統合という段階的なパイプラインを採用しています。

すべての物体が元画像のピクセル位置と正確に一致するよう逆算して配置されるため、視界の歪みやオブジェクトの浮遊が起きません。

ベンチマークでも驚くべき結果を残しています。100万件以上のデータと手動ラベルに依存する非公開モデル「SAM3D」に対し、Mira-Sceneはわずか8万件のデータと完全自動パイプラインでありながら、3D-IoU（0.727対0.520）や2D-IoU（0.783対0.672）など大半の指標で上回る精度を記録しました。

動かし方

コードはMITライセンスでGitHubに公開されています。プロジェクト全体の容量は約6.1GBとコンパクトで、ミドルレンジの一般的なコンシューマー向けGPUでもローカル動作が可能です。

GitHubおよびHugging Faceにて推論スクリプト、事前学習済みチェックポイント、微調整用データセットがすべて提供されています。中断からの再開実行やマルチGPU分散処理にも対応しています。

なぜ重要か

インディーゲーム開発者や3Dアーティスト、ロボティクス研究者にとって、環境制作の工数を劇的に削るツールになります。写真1枚から、物理挙動を与えられる独立したオブジェクト群を即座に手に入れられる価値は絶大です。

さらに、膨大な人海戦術によるアノテーションを行わなくても、幾何学的な整合性に焦点を当てれば8万件の学習データで閉源の巨大モデルを凌駕できることを証明した点でも、オープンソース3D生成の大きな節目と言えます。