ByteDanceがLucidaを発表：実世界の部屋を編集可能な3D空間に変換

部屋をスマホやカメラで3Dスキャンしたことがある人なら、一度はもどかしい思いをしたことがあるはずです。見た目は綺麗でも、すべてが一体化した「一枚岩」のメッシュになり、机の上に置いたコップだけを動かしたり掴んだりすることはできません。

ByteDance Seedの研究チームは北京大学および浙江大学と共同で、新しい3Dシーンモデリング手法「Lucida」を発表しました。散らかった実世界の室内動画から、物体ごとに分解され自由に編集できる3Dシミュレーション環境を丸ごと再構築するシステムです。

分割、生成、そして閉ループ配置

従来の3D再構築手法は、各工程で遮蔽のない綺麗な入力が得られることを前提としていました。しかし、物で溢れた実際の部屋でそんな都合のいい撮影データが手に入ることはまずありません。

Lucidaは処理順序を保ちながら、精度の担保をパイプラインの最後の段階に委ねる賢いアプローチをとっています。

まず室内動画のキーフレームから物体同士の対応関係を把握し、シーングラフを構築します。次に、他の物に隠れて一部しか見えない物体であっても、欠損部分を補完した遮蔽のない完全な独立3Dアセットを個別に生成します。

そして最大の見どころが「配置」です。研究チームはGizmoActと呼ばれる視覚言語モデル（VLM）のエージェントを導入しました。3Dソフトのギズモ操作ハンドルをVLMが自ら閉ループで動かし、レンダリング画像と実写動画のズレを確認しながら、ぴったり重なるまで微調整を繰り返します。

ベンチマークでもその威力は実証されています。R2S-Sceneデータセットにおいて、LucidaはBoxerと比較して3D物体検出のmAPを69%向上させました。さらにCA-1Mでの姿勢推定精度ADD-SB@0.05は57.8%から83.4%へと跳ね上がり、シーン全体のFスコアもSAM3Dの0.794を大きく上回る0.924を記録しました。

なぜ重要か

ロボット工学や身体性AI（Embodied AI）にとって、現実に即したインタラクティブなシミュレーション環境の構築は常に最大のボトルネックでした。従来の一体型スキャンデータでは、ロボットが机の上の物を掴む訓練ができなかったからです。

Lucidaの手法が実用化されれば、スマートフォンで雑然とした部屋を撮影して歩くだけで、椅子やカップが独立したアセットとして配置されたデジタルツインが手に入ることになります。

とりわけ、VLMに3Dエディタを操作させて微調整を行わせる着想は非常に実用的だと評価できます。一発で完璧な座標を当てる数学的アプローチではなく、人間のデザイナーのように見比べながらハンドルを動かす閉ループ構造を採用したことで、実世界のノイズに対する頑健性を獲得しています。現在は論文の公開にとどまっていますが、コードの公開と今後の展開が待たれます。