가려진 물체도 3D로 복원하는 AI 모델 'RecGen' 공개

어지러운 책상 사진을 보고 3D 모델을 만들 때 가장 큰 걸림돌은 물체끼리 서로를 가리는 가림 현상입니다.

사람은 머그잔 뒤에 가려진 볼펜의 전체 모습을 자연스럽게 떠올릴 수 있지만, 기존 AI 모델들은 보이지 않는 부분을 뭉개버리거나 앞뒤 물체를 억지로 이어붙이기 일쑤였습니다.

연구진은 이러한 폐색 환경에서도 완전한 3D 객체를 복원해내는 생성형 프레임워크 'RecGen'을 공개했습니다.

가려진 사물도 한 번에 꿰뚫어 보는 3D 복원

RecGen에 필요한 입력값은 깊이 정보가 포함된 단 한 장 또는 소수의 RGB-D 이미지뿐입니다.

시스템은 이미지 속 물체들을 먼저 분할한 뒤, 앞 물체에 가려져 극히 일부분만 보이는 사물이라도 학습된 형상 정보를 바탕으로 가려진 기하 구조와 텍스처, 공간상 3D 위치를 동시에 추정해냅니다.

마치 잡동사니가 가득 찬 상자를 위에서 흘긋 보고도 바닥에 깔린 상자의 크기와 놓인 각도를 정확히 짚어내는 셈입니다.

가림이 심하거나 대칭 구조를 가진 복잡한 환경에서도, RecGen이 복원해낸 형상과 포즈는 실제 정답과 매우 근접한 완성도를 보여주었습니다.

학습 데이터 80% 줄이고도 품질은 압도적

이러한 복원력의 비결은 정교하게 설계된 합성 데이터셋에 있습니다.

연구진은 약 20만 개의 고품질 3D 에셋과 300만 장 이상의 합성 RGB-D 이미지를 구축했습니다. 가상 환경 안에서 물체들을 끊임없이 겹치고 회전시키며 현실 특유의 무질서한 상태를 집중적으로 학습시켰습니다.

놀라운 점은 훈련 효율입니다. 기존 최고 수준 모델이었던 SAM3D와 비교했을 때, 훈련에 사용된 3D 메시 수는 거의 80%나 적었습니다.

그런데도 기하학적 형상 품질은 30.1% 향상되었고, 텍스처 복원은 9.1%, 위치 자세 추정 정밀도는 33.9%나 뛰어난 성적을 기록했습니다.

왜 중요한가

우리는 RecGen이 단순한 3D 생성 소프트웨어를 넘어 로봇 공학과 공간 컴퓨팅 분야의 핵심 난제를 해결하는 단초가 될 것으로 봅니다.

서비스 로봇이 식탁을 정리하려면 그릇 뒤에 가려진 포크의 손잡이가 어느 방향으로 뻗어 있는지 정확히 알아야 합니다. 가려진 사물의 완전한 물리적 형상을 유추해내는 능력은 로봇이 현실 환경을 안전하게 다루기 위한 필수 조건입니다.

대규모 실사 스캔 데이터에 의존하지 않고, 조합적 합성 데이터만으로 적은 비용에 높은 일반화 성능을 끌어낸 전략 역시 매우 영리합니다.

다만 아직 일반 사진이 아닌 깊이(RGB-D) 정보를 요구한다는 점에서 스마트폰 일상 스냅샷에 바로 적용하기는 어렵습니다. 복원된 3D 메시를 로봇 제어에 즉시 쓰이는 충돌 모델로 연결하기까지는 추가적인 엔지니어링 검증이 더 필요해 보입니다.