字節跳動提出 Lucida：把雜亂房間變成可編輯的 3D 場景

如果你用手機或者專業相機掃描過房間，應該深有體會：生成出來的 3D 模型雖然看著挺逼真，但本質上就是一大坨融在一起的面片。桌子連著地板，茶杯長在桌面上，你想在模擬引擎裡指揮虛擬機器人拿起那個杯子，根本無從下手。

字節跳動 Seed 團隊聯合北京大學、浙江大學釋出了一篇論文，推出了名為 Lucida 的可組合 3D 場景建模系統。它解決的核心痛點，就是把雜亂的真實房間拆解重構，變成每個物體都能單獨挪動、縮放和互動的 3D 模擬環境。

先拆解、再生成，最後閉環擺回去

傳統的重建方法，往往一上來就假設上游的輸入很完美：要求沒有遮擋、幾何結構精確、物體邊界清晰。但現實生活中的房間往往堆滿雜物，物體互相擋住是常態。

Lucida 的思路挺聰明，它把流程拆成了三步，把對精度的要求留到了最後。

第一步是解析。系統先從影片裡挑出關鍵幀，把不同視角里的同一物體關聯起來，構建出一個場景圖，摸清楚屋裡到底有哪些東西。

第二步是生成。即使某個物體在原影片裡被擋住了一大半，Lucida 也會根據多視角的線索，為它合成一張無遮擋的影像，並重建出一個完整、乾淨的獨立 3D 資產。

第三步也是最亮眼的一步，叫擺放。研究團隊做了一個叫做 GizmoAct 的視覺語言模型策略。它就像一個坐在 3D 建模軟體前的熟練工人，在物體的區域性座標系裡操作控制手柄，一步一步微調位置和角度，對比渲染畫面和真實場景，直到完全對齊才收手。

成績單與測試表現

這種把放置當成閉環互動的做法，在實測中拉開了明顯差距。

在 R2S-Scene 資料集上，Lucida 相比 Boxer 將場景級 3D 物體檢測的 mAP 提升了 69%。

在 CA-1M 資料集上，物體位姿估計指標 ADD-SB@0.05 從 57.8% 猛增到 83.4%。

而在場景重建完整度上，它的場景 F-Score 達到了 0.924，遠高過 SAM3D 的 0.794。對比單視角重建，Lucida 能更好地保住物體的真實尺寸、朝向和空間排列。

目前字節跳動只放出了技術論文和專案主頁，還沒有開放程式碼倉庫或線上試用。

為什麼重要

具身智慧和機器人訓練現在最大的瓶頸之一，就是逼真又可互動的資料資產太貴、太難做。過去給機器人搭一個虛擬廚房，工程師得在 Blender 裡手動擺幾天；要麼用 3D 掃描，掃出來卻是一塊焊死的整體。

Lucida 的價值在於，它打通了一條低成本把現實世界變成數字孿生試驗場的路子。拍一段雜亂房間的影片，就能自動化拿到按物體解耦的模擬資產，機器人可以直接在裡面練抓取、避障。

我們認為，用 VLM 當閉環操作員的思路走得很對。很多傳統演算法卡在初始誤差太大，而讓多模態大模型像人一樣一邊看畫面對比、一邊推手柄微調，避開了對初始幾何絕對精準的死板依賴。不過真正的考驗在於落地階段：完全遮擋下的腦補資產是否符合物理規律、推斷速度能否支援快速建模，還需要等開源之後行業的大規模檢驗。