WorldSculpt公開：動画から何百もの独立した3Dメッシュを個別復元

スマートフォンで部屋をスキャンして3Dモデルを作る技術は、すでに身近なものになった。だが大きな問題がある。出力されるモデルは、すべてが一体化した「固まった彫刻」のような状態だ。テーブルと床が融合し、マグカップが天板に溶け込んでいるため、椅子を一脚動かそうとするだけで空間に巨大な穴が空いてしまう。

Alaya Labと東京大学の研究チームは、この課題を打破するオープンソースの3D再構築フレームワーク「WorldSculpt」を公開した。入力されたアノテーション付き動画や複数枚の画像から、何百もの独立した3Dメッシュで構成されるシーンを復元できる。さらに、現在注目を集める3Dガウススプラッティングで生成された世界を、個別の編集可能なメッシュに逆変換することにも対応している。

乱雑な部屋をバラバラに分解し、1つずつ編集可能にする

従来の3D再構築手法は、NeRFにせよガウススプラッティングにせよ、空間全体をひとつの連続したキャンバスとして捉えていた。見た目は美しくても、ゲームエンジンやCG制作ツールに持ち込むと、オブジェクトがすべて融合しているためそのままでは編集できない。

WorldSculptのアプローチは根本から異なる。部屋の中にある本、ランプ、クッションといったあらゆる物体を、それぞれ独立した完結した3Dメッシュとして復元する。公開されたWebビューアでは、マウスを重ねるだけで任意の物体がハイライトされ、クリックで単体表示でき、スライダーを動かせば部屋全体の無数のパーツを一瞬で爆発図のように分解できる。

各メッシュは個別に移動、拡縮、差し替えが可能だ。見えない裏側も自然に補完して生成されるため、テーブルの上の皿を動かしても、その下の天板に不自然な穴が空くことはない。

単一物体の生成モデルを活用し、大規模シーンへ拡張

重なり合う何百もの物体を同時に復元するのは、通常なら膨大な計算負荷がかかる。WorldSculptが優れているのは、全体の複雑な相互作用を力任せに計算するのではなく、単一物体の生成モデルであるPixal3Dをうまく活用した点にある。

各物体の3Dバウンディングボックスを基準に、複数視点からのDINOv3特徴量を抽出し、ボクセル空間に投影して統合する。見えている部分は元のカメラ映像に忠実に、遮蔽されて見えない裏側は生成モデルの事前知識を活かして補完する仕組みだ。

生成されたメッシュはそれ自体で完結しているため、シーン全体の再構成は単純な剛体変換だけで済む。物体間の複雑な結合処理や個別の最適化が不要なため、単一物体データのみで学習したモデルでありながら、数百個の道具がひしめく大規模シーンへそのままスケールさせることができる。

チームはWorld LabsのMarbleが生成したガウススプラッティング空間でも実験を行い、点群シーンから各オブジェクトのメッシュを正確に分離して抽出できることを確認した。また、Unreal Engine 5.8を用いた密集シーンのベンチマーク環境も構築している。

なぜ重要か

WorldSculptは、3D再構築技術が長年抱えていた「観賞用には綺麗だが、制作現場では使いにくい」という決定的な壁を突き崩した。

ゲーム開発者やCG制作者、ロボティクスのシミュレーション担当者にとって、現実スキャンデータのクリーンアップと個別切り分けは膨大な手作業を要する負担だった。WorldSculptのように動画から直接パーツ単位のデジタルアセットへ自動分解できるようになれば、現実の部屋を撮影するだけでそのままゲームのステージ素材として流用できる未来が一気に現実味を帯びる。

また、3Dガウススプラッティングとの連携を見せた点も極めて賢い。高速レンダリングに強みを持つガウススプラッティングの弱点であった「編集性の欠如」を補い、既存のメッシュパイプラインへ橋渡しする役割を果たしている。

もちろん、現時点では完全な全自動ツールというわけではなく、入力時にインスタンスマスクや3Dバウンディングボックスといった位置情報が必要になる。ベンチマークの正解メッシュも著作権の関係で個別申請が必要だ。それでも、一体化した塊をバラバラの積木へと解体する道筋を明確に示した意義は非常に大きい。