スマホ写真から大規模3D空間を再現する「GenRecon」登場

現実の部屋をバーチャル空間に再現しようとすると、これまでは高額な専用スキャナーを持ち歩くか、何百枚もの写真を死角なく撮影する必要がありました。

研究チームが発表した「GenRecon」は、その常識を覆す技術です。一般的なカメラやスマートフォンで撮影したわずかな RGB 写真から、大規模な屋内 3D 空間を高精度に再構築し、既存の最先端手法を 16% 上回る精度を記録しました。

空間を分割してつなぎ合わせる重なりの工夫

これまで 3D 生成モデルが直面していた最大の壁は、椅子や小物といった単一オブジェクトの生成にとどまり、部屋全体のスケールになると計算破綻してしまう点でした。

GenRecon は発想を転換し、広大な屋内シーンを互いに重なり合う複数の局所ブロックに分割するアプローチを採用しました。

個別のブロックを条件付きで 3D 生成しつつ、重なり合った領域を通じて全体の一貫性を維持します。これにより、単一オブジェクト用の生成能力を損なうことなく、部屋全体のスケールへと拡張することに成功しました。

物体向け生成モデル Trellis.2 を空間全体へ拡張

品質の土台を支えているのが、最先端の 3D 形状生成モデル「Trellis.2」の事前分布と「DINOv3」による特徴量抽出です。

撮影順序に左右されずに写真の情報を空間へ反映させるため、研究チームは投影ベースの条件付け機構を設計しました。カメラ姿勢情報を持つ複数の画像特徴を、生成モデルと整合する 3D 表現へと直接引き上げます。

出力されるのは単なる点雲やレンダリング専用の放射輝度場ではなく、業界標準の PBR（物理ベースレンダリング）メッシュです。ゲームエンジンや 3D ツールですぐに編集や配置が行えます。

なぜ重要か

インディーゲーム制作者や建築デザイナー、VR 開発者にとって、現実空間のアセット化にかかるコストが劇的に下がります。高額な機材を用意しなくても、手持ちの端末で数枚スナップを撮るだけで、実用的なメッシュデータが手に入る道が開けました。

業界全体で見れば、GenRecon は「物体生成モデル」を「大規模空間の再構築」へ橋渡しする実用的なルートを示しました。NeRF や 3D Gaussian Splatting は見た目が綺麗でもメッシュ編集が難しい課題がありましたが、最初から編集可能な PBR メッシュを出力できる点はパイプラインにおいて大きな強みです。

巨大な空間モデルを一から学習するのではなく、既存の強力な物体モデルを分割統治で活用した構成は非常に合理的だと感じます。ただし、カメラの位置姿勢推定の精度に依存するため、極端に撮影枚数が少なかったり特徴のない空間だったりした場合にどこまで破綻を防げるかは、今後の検証が必要です。