바이트댄스 Lucida 공개: 실제 방을 편집 가능한 3D 씬으로 변환

스마트폰으로 방을 3D 스캔해 본 사람이라면 누구나 겪는 답답함이 있습니다. 겉보기엔 그럴싸하지만 모든 물체가 하나로 굳어버린 통짜 메시가 나오기 때문입니다. 책상 위에 놓인 머그잔을 들어 올리거나 위치를 바꾸고 싶어도, 기존 방식으로는 불가능에 가까웠습니다.

바이트댄스 Seed 팀은 베이징대학교, 저장대학교 연구진과 함께 복합 3D 씬 모델링 시스템인 'Lucida'를 발표했습니다. 어질러진 실제 방 영상을 입력받아, 모든 물체를 개별적으로 이동하고 편집할 수 있는 대화형 3D 시뮬레이션 환경으로 복원해 내는 기술입니다.

분해하고 생성한 뒤, 에이전트가 제자리에 배치한다

기존 복원 파이프라인은 물체 인식, 에셋 생성, 재배치의 3단계를 거치지만, 각 단계마다 가림 없는 깨끗한 영상과 정확한 형상을 전제로 삼았습니다. 하지만 물건이 널브러진 실제 방에서는 물체끼리 겹치고 가려지는 일이 다반사입니다.

Lucida는 이 순서를 유지하되, 정밀도에 대한 요구를 파이프라인의 맨 마지막 단계로 미루는 영리한 방식을 택했습니다.

먼저 영상에서 핵심 프레임을 뽑아 물체들을 식별하고 씬 그래프를 구성합니다. 다음으로 일부가 가려진 물체라도 다각도 단서를 조합해 가림 없는 온전한 개별 3D 에셋으로 생성해 냅니다.

가장 돋보이는 부분은 배치 단계입니다. 연구팀은 GizmoAct라는 비전-언어 모델(VLM) 정책을 도입했습니다. 3D 편집 툴의 이동 조작기(Gizmo)를 에이전트가 직접 다루며, 렌더링 화면과 실제 영상을 비교하는 피드백 루프를 통해 오차가 사라질 때까지 물체의 위치와 회전을 미세 조정합니다.

실험 결과도 인상적입니다. R2S-Scene 데이터셋에서 3D 물체 검출 mAP가 Boxer 대비 69% 향상되었습니다. CA-1M 데이터셋의 자세 추정 지표(ADD-SB@0.05)는 57.8%에서 83.4%로 뛰었으며, 씬 F-스코어는 SAM3D의 0.794를 크게 웃도는 0.924를 기록했습니다.

왜 중요한가

로봇 공학과 구체화 AI(Embodied AI) 진영의 가장 큰 병목은 자유롭게 상호작용할 수 있는 고품질 가상 환경을 만드는 비용이었습니다. 사람이 3D 툴로 일일이 가구를 배치하거나, 통짜 스캔 데이터의 한계를 감수해야 했습니다.

Lucida는 일상적인 방 영상 하나만으로 시뮬레이션에 즉시 투입 가능한 디지털 트윈을 자동으로 얻을 수 있는 길을 열었습니다. 의자를 밀거나 컵을 집어 올리는 로봇 조작 훈련이 훨씬 쉬워집니다.

VLM에게 3D 에디터를 쥐여주고 사람이 모델링을 다듬듯 폐루프 피드백을 맡긴 설계는 매우 실용적입니다. 초기 추정이 조금 빗나가더라도 시각적 피드백을 통해 보정할 수 있기 때문입니다. 현재는 기술 논문만 공개된 상태이지만, 실제 환경 복제 작업의 패러다임을 바꿀 잠재력이 엿보입니다.